精读笔记

Problem Setting

这篇论文解决的不是“训练一个会玩游戏的 agent”，也不是“用世界模型生成游戏”，而是更窄也更硬的 closed-loop trajectory following：给定一条人类参考轨迹，让 agent 在真实 3D 游戏环境中尽量复现它。

真正困难点在 closed-loop 分布漂移。离线数据里 observation/action/future 完美对齐；部署时 agent 的过去来自自身动作执行，reference future 来自人类轨迹。只要早期动作有一点误差，相机朝向、位置、动态障碍、随机物体都会使后续状态进入训练时没见过的 mismatch regime。简单 action replay 在这种环境里几乎必然崩，因为它没有状态反馈；普通 BC 也不够，因为它只知道“在这个状态人类做了什么”，不知道“我现在偏离参考后该怎么回去”。

因此关键矛盾是：trajectory following 需要长期对齐，但可学习的监督主要是局部 action label；需要 recovery，但数据大多来自 expert manifold，而非 off-manifold correction。

Motivation

已有 imitation/game agent 路线通常默认两件事之一：要么学一个能完成任务/得高分的 policy，要么学一个能预测环境未来的 world model。但这里的目标是 style/trajectory-level matching，奖励不明确，且关键不是最优性而是可控地贴近一条指定 reference。

作者的核心观察是：如果把未来参考片段显式给模型，trajectory following 可以被转化为 inverse dynamics：当前实际轨迹 + 目标未来轨迹 -> 当前动作。这避开了显式规划，也给 BC 加上了目标条件。缺口在于，现有 world model/vision prior 是否能提供适合这种 inverse-control 的表征并不清楚；尤其在 3D game 中，视觉状态、动作历史、相机运动和随机环境共同决定可控性。

所以论文真正想问的是：预训练世界模型表征能否作为 trajectory-following IDM 的 backbone？如果不能，什么样的表征/条件化才更有效？

Core Idea

核心想法是 generalized IDM-K：不再只用当前帧和下一帧预测中间动作，而是用 agent 的过去轨迹和 reference 的未来轨迹预测当前动作。这个建模方式把 imitation 从“复现 expert action”变成“根据目标未来做局部纠偏”。

它引入的 inductive bias 很明确：future segment 是一个 moving goal，past segment 是当前 rollout state estimate，IDM head 学的是二者之间的 inverse control law。理论上这比 BC 更抗漂移，因为 BC 没有显式目标，只能沿训练分布前进；而这里即使 agent 偏离，只要 future selection 仍把目标放在可达范围内，模型可以输出恢复动作。

和 prior 的本质区别在于它没有把 world model 当作 simulator/planner，而是把世界模型或视觉 prior 当作表征压缩器，然后用 inverse dynamics 学控制映射。换句话说，它不是 model-based planning，而是 goal-conditioned behavior cloning / inverse control 的一种工程化实例。

Method

方法的关键不在六种架构组合，而在三个机制。

第一，past/future 条件化解决 partial observability 和 closed-loop mismatch。单帧状态在第三人称 3D 游戏里不足以决定动作，尤其相机朝向、速度、最近动作历史都会影响下一步控制。past sequence 提供局部动态上下文；future sequence 提供对齐目标。核心变化是 policy 的输入从 state 变成了 current-rollout/reference-future pair。

第二，future selection 解决 reference 指针漂移。静态按时间取未来帧在 agent 速度偏差或被随机事件扰动时会失效；closest/radius/inner-outer 策略本质是在做 online alignment，把参考轨迹上的目标点重新匹配到 agent 当前空间位置附近。这是整套方法能 rollout 的关键 glue code，甚至比 encoder 选择更接近部署稳定性的核心。

第三，encoder/head 对比用于检验 representation alignment。ConvNeXt 从头训练、DINOv2 通用视觉 prior、WHAM game-specific world model prior 分别代表任务内表征、通用视觉表征、世界模型表征。GPT head 相比 MLP 的意义主要是序列建模和多时间步监督，但它不是主要概念创新；它更像在 temporal credit assignment 上更稳的工程选择。

Key Insight / Why It Works

最重要的 insight 是：trajectory following 的主要瓶颈不是预测下一帧环境，而是保持 reference-conditioned control 的局部可恢复性。只要每一步能把 agent 拉向 reference future，长期行为可以由短期纠偏堆出来；反过来，即使有很强的 world model latent，如果它不对 inverse-control 所需信息对齐，closed-loop rollout 也会失败。

从结果看，真正有效的部分很可能是 representation alignment + future-conditioned local correction，而不是“world model adaptation”。ConvNeXt 从头训练在 General setting 最好，说明大规模任务内数据足以学出比通用/世界模型 prior 更适合控制的视觉 embedding。DINOv2 在低数据 Specific setting 最好，符合典型视觉 prior 的低样本优势。WHAM 的失败尤其有信息量：game-specific pretraining 并不自动转化为 trajectory-following 能力；其 causal tokenized action-observation 表征可能更适合 next-token prediction，而不适合提取可比较的 current/future state embedding。

GPT head 的收益可能部分来自更好的 sequence aggregation 和额外 action losses，但不是根本机制。更关键的是 future conditioning 和 test-time future selection，这里面有明显 retrieval/alignment 成分：系统不是在真正规划，而是在 reference trajectory 上选择一个目标片段，然后学习如何朝它走。所谓长期能力更像 repeated local servoing，而不是形成了全局计划。

需要警惕 Specific setting 的结果：30 条近似相同行为轨迹下，BC 也能接近最优，说明这部分成功可能主要是 implicit memorization / behavior template retrieval，而不是条件化未来带来的泛化。General setting 中复杂 Benchmark 和 Dojo domain shift 仍明显困难，也说明方法的上限受数据覆盖和 alignment heuristic 强约束。

Relation To Prior Work

这篇工作处在 goal-conditioned imitation、inverse dynamics、game world model reuse 的交叉处。它最接近的不是传统 world model planning，而是 conditioned BC / IDM-for-control：给定当前状态和目标状态，预测到达目标所需动作。

相对普通 BC，新增信息是 reference future；相对 Learning from Observation / inverse dynamics disagreement，新增的是 closed-loop trajectory alignment 视角和多步 future conditioning；相对 RIDM 之类结合 RL 的方法，它去掉在线 RL feedback loop，完全依赖离线数据训练 IDM，然后部署时用 reference selection 做控制。

“使用世界模型”这一点看似新，但实质创新不在 world model 本身。论文反而给出了一个负面但有价值的结论：预训练 game-specific world model latent 不一定是最好的 downstream control representation。真正有价值的是把 world model prior、general vision prior、scratch task encoder 放在同一 IDM 任务下比较，暴露了生成/预测表征与控制表征之间的不一致。

Dataset / Evaluation

数据规模很大：来自 Bleeding Edge 的长时间人类 gameplay，包含视觉、telemetry 和 Xbox controller action，环境是真实商业 3D 游戏而非 toy simulator。这使问题比常见小型 imitation benchmark 更接近实际 game deployment。

但 evaluation 覆盖偏窄。测试只有少量 held-out trajectories，重点还是 movement trajectory，且主要围绕单角色导航；虽然包含 SkyGarden 与 Dojo 的 domain shift，但没有系统覆盖战斗、多角色技能、交互对象、强扰动恢复等更复杂行为。因此它验证的是“在若干导航式 reference trajectory 上，IDM-conditioned control 比 replay/BC 更可行”，而不是完整 human-like gameplay imitation。

指标上，AUC/DTW-style coverage 和 first significant deviation 比单纯 action accuracy 更合理，因为它们评估 closed-loop path similarity。但这些指标仍可能掩盖语义失败：路径接近不等于行为意图一致，尤其在游戏中相机、交互、战斗 timing 可能比位置更重要。文中也没有充分证明这些轨迹是否足以支持关于 generalization 的强结论。

Limitation

方法成立依赖几个强前提。第一，reference trajectory 必须能通过空间位置进行有效对齐；一旦存在循环、长时间停留、语义重复位置或需要非位置条件的事件，future selection 就可能失效。作者讨论了 closest 的 loop 问题，但更一般的时空语义对齐问题没有解决。

第二，模型依赖 expert-manifold 数据覆盖。部署时真正困难的是 off-manifold recovery，但训练数据主要是人类正常轨迹；IDM 并没有被系统训练在大偏差状态下恢复。所谓 robustness 很大程度来自目标重新选择让输入保持近分布，而不是模型真的学会了广泛 recovery。

第三，长期规划能力有限。方法没有显式 latent dynamics rollout，也没有搜索或代价优化；长期行为来自局部目标追踪的递推。如果复杂任务需要先远离 reference 才能绕过随机障碍，或需要等待/交互/策略选择，local inverse dynamics 可能不够。

第四，增益归因不完全清晰。ConvNeXt-GPT 的优势可能来自端到端任务训练和数据规模，而不是架构本身；DINOv2 的 Specific 优势可能只是低样本视觉 prior；Fine-tuning 的提升也可能主要是 data coverage + behavior specialization。文中未充分说明不同 encoder 是否公平匹配 capacity、训练稳定性和输入接口。

第五，WHAM 的结果不能简单解读为世界模型无用。其接口被压缩投影，loss 密度问题需要额外处理，且原始预训练目标与 IDM 不匹配。负结果有启发性，但具体失败来自 representation entanglement、tokenization、projection bottleneck 还是训练 recipe，文中未充分说明。

Takeaway

• 1. 对 trajectory following 来说，最关键的不是学一个更强的 forward world model，而是学一个 reference-conditioned correction policy；future-conditioned IDM 是一个简单但有效的 formulation。
• 2. 预训练表征是否有用取决于 downstream control alignment。
• 通用视觉 prior 在低数据下有价值，任务内 scratch encoder 在大数据下更强，game-specific world-model latent 不保证可控。
• 3. Future selection / online alignment 是这类方法的隐性核心。

一句话总结

这篇论文把 3D 游戏中的轨迹复现从 action replay/BC 改写为 reference-future-conditioned inverse control，并用实验证明控制表征对齐比“是否使用预训练世界模型”更关键。