精读笔记

Problem Setting

论文标题：MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation（arXiv preprint / 2026）。

这篇论文真正处理的是 humanoid loco-manipulation 中两个长期被分开处理的问题：一是如何让视觉策略具备物理时序/接触动态先验，二是如何让 humanoid 的腿、躯干、手在同一个 action space 里服务于任务，而不是腿只负责 balance。困难点不是单纯多自由度控制，而是闭环实时性、视觉动态建模、全身动作表达之间互相冲突。

以前路线卡在两个接口上。WAM 路线有视频动态先验，但要在高维 video-action latent 上迭代 denoise，慢到不适合动态平衡的人形机器人。Humanoid VLA/分层路线能部署，但通常高层只输出上肢动作或粗 base command，下肢动作空间被压缩成速度、高度、朝向，天然不能表达 task-driven foot interaction。MotionWAM 的关键矛盾就是：能不能不显式生成未来视频，却利用视频 world model；能不能不牺牲低层稳定性，却让全身进入同一个任务动作语言。

Motivation

作者的核心观察很明确：现有 humanoid autonomous manipulation 的瓶颈很大一部分不是模型语义不够，而是 action interface 错了。只要 policy 对腿只能说“往前走、转向、保持高度”，它就不可能学到踩踏板、踢球、蹲走取物这类行为；这些不是 policy capacity 问题，而是 action vocabulary 缺失。

同时，VLA 的 image-text backbone 对这类任务并不理想。它提供的是静态语义和外观先验，但 humanoid loco-manipulation 的失败往往来自身体-物体-地面接触的时序耦合，而不是不知道物体叫什么。WAM 的吸引力在于未来视频预测天然压入了 temporal dynamics 和 physical plausibility，但传统 WAM 把未来视频真的 denoise 出来，test-time compute 太高。于是关键缺口是：把视频模型作为 dynamics representation，而不是作为 rollout generator。

Core Idea

MotionWAM 的核心思想是把视频 world model 的中间 denoising activations 当作“未来动态的隐式摘要”，再用 motion DiT 从这个摘要反推出 whole-body motion latent。它不要求模型完整生成未来帧；只在一个固定 flow timestep 做一次 Video DiT forward，并从某个 transformer block hook hidden state。直觉上，这些 hidden states 处在从噪声向未来视频收敛的过程中，已经包含“场景将如何变化”的方向性信息，但还没有付出完整采样成本。

另一个本质改变是 action representation。MotionWAM 不是在传统 humanoid hierarchy 上换一个更强 backbone，而是把行为表达从 upper-body action + lower-body command 改成统一 motion token。这个变化引入的 inductive bias 是：locomotion、height、torso、foot placement、hand manipulation 被看作同一个 motion manifold 上的协同变量，而不是两个 controller 之间的通信问题。它更 scalable 的地方在于，大规模 video pretraining 学到的是 embodied egocentric dynamics，action grounding 再通过 motion latent 对齐到具体机器人；而不是每个任务、每个身体部件单独建模。

Method

1. Intermediate denoising feature as policy condition：它解决 WAM 推理慢的问题。传统 WAM 的显式未来视频 rollout 对控制来说过度，因为 policy 未必需要像素级未来，只需要足够指导动作的动态表征。MotionWAM 直接读取 Video DiT 的中间 activations，相当于把生成过程截断为 representation extraction。核心变化是把 test-time compute 从多步视频采样变成一次视觉动态编码。

2. Unified whole-body motion latent：它解决分层 humanoid action space 的表达瓶颈。借助 SONIC 的全身 motion token，policy 输出的不是 base velocity 或单独关节目标，而是可由低层 controller 解码的全身运动意图。这样稳定性仍交给 motion decoder/controller，但任务层能选择包含脚、躯干、高度变化的行为模式。

3. Three-stage training：它解决数据分布和动作标注稀缺之间的矛盾。Stage 1 只用廉价 egocentric video 调整 video world model 的视角和动态分布；Stage 2 用异构 humanoid action data 做 visual dynamics 到 action latent 的 grounding；Stage 3 用目标 G1 任务数据做最后适配。这里的必要性在于先学“第一人称世界如何演化”，再学“机器人如何作用于这种演化”，避免直接从小规模 teleop 数据训练一个巨大 WAM。

4. Continuous regression of discrete token index：把 motion token index 放进 flow-matching action latent 再 round 回离散 index，是一个工程上简化的统一建模选择。它避免单独 categorical head，但文中未充分说明这种连续化对 token 边界错误、contact precision、rare token 行为的影响。

Key Insight / Why It Works

我认为最核心的贡献不是 dual-DiT 本身，而是“截断使用视频生成模型”的策略。完整视频生成对机器人控制是昂贵且未必必要的；中间 denoising feature 可能已经含有足够的 affordance、motion tendency、contact evolution 信息。MotionWAM 把 WAM 的价值从“能生成未来”改写成“生成过程中的 hidden state 是更好的 policy representation”。这是比简单 scaling VLA 更有迁移价值的 insight。

第二个关键有效因素是 action latent 的结构，而不是大模型。很多 humanoid policy 表面上失败于 perception，实际失败于 action abstraction。统一 motion token 给了 policy 一个可以调用全身协调模式的低维语言，使得 demonstration 中的复杂运动不需要在 high-level policy 里逐关节重建。换句话说，MotionWAM 的一部分能力来自把难问题下放给 SONIC motion manifold：policy 学的是选择/调制 whole-body skill latent，而不是从视觉直接学全身 dynamics。

第三，三阶段训练更像 representation alignment curriculum。Stage 1 是 data scaling，Stage 2 是 action grounding，Stage 3 是 task retrieval/specialization。消融显示 Stage 2 比 Stage 1 更关键，这也符合直觉：没有动作 grounding，视频动态先验无法变成可控动作。Stage 1 的收益更像 domain adaptation 到 egocentric visual dynamics，而不是产生真正 robot reasoning。

需要直接指出的是，论文的性能增益并不能完全归因于 WAM。MotionWAM 同时拥有 Cosmos video prior、2136 小时 egocentric video、跨 embodiment action data、SONIC whole-body latent、每任务 200 episodes teleop fine-tune。相比 VLA baseline 的差距可能来自 better inductive bias，也可能来自数据覆盖和 representation/action interface 更匹配。尤其 Qwen3DiT 虽然参数匹配，但 static VLM 与 video DiT 的预训练数据和目标完全不同，不能严格证明“动态建模”是唯一来源。

所谓 planning 能力也要谨慎看待。模型输出 chunk-wise motion latent，依赖闭环视觉更新，并没有展示显式长期状态建模或 multi-step search。很多行为更可能是基于训练分布中的 motion pattern retrieval + local visual correction，而不是形成了可组合的 long-horizon planner。

Relation To Prior Work

MotionWAM 位于 WAM / video policy / humanoid whole-body control 三条线的交叉点。和 Cosmos Policy、DiT4DiT 等 WAM 相比，它的关键差异不是联合建模 video-action，而是为了实时控制放弃完整未来视频采样，转而消费 denoising hidden state。这个点是实质创新，因为它改变了 world model 在 policy 中的角色：从显式预测器变成动态特征 backbone。

和 GR00T、π0.5、WholeBodyVLA 这类 humanoid/VLA 相比，真正差别也不是语言或 backbone 大小，而是 video dynamics prior + unified whole-body latent。VLA 继承的是 web-scale static semantic prior，MotionWAM 继承的是 egocentric visual dynamics prior；前者适合识别和语义泛化，后者更适合短时物理交互和时序协调。

和传统 hierarchical loco-manipulation 相比，MotionWAM 没有完全抛弃低层控制。它仍然依赖 SONIC 作为 motion decoder/whole-body controller，因此不是端到端 torque-level humanoid foundation model。它的创新在任务层动作空间：让 high-level policy 访问低层 whole-body motion manifold，而不是只访问 base command。这是一个重要但也有限的改变：它解决表达问题，但把稳定、接触可行性、motion prior 的覆盖范围留给 SONIC。

一些看似新的部分其实是已有思想重组：flow matching、DiT、action chunk diffusion、multi-stage pretraining、per-embodiment projector 都不是新概念。实质新增信息在于：中间 denoising feature 可作为实时 WAM policy condition；whole-body motion token 是比 upper/lower hierarchy 更合适的 humanoid loco-manipulation action language。

Dataset / Evaluation

评估是强项，因为它是真机 Unitree G1，且任务确实覆盖了传统 tabletop manipulation 很少触及的能力：蹲、移动、躯干调整、脚部交互、身体-手协同。九个任务不是单纯 pick-place 变体，其中 Kick Soccer、pedal/foot-like interaction、Load Cart、Wipe Board 这类任务确实能检验 unified action space 的价值。

但 evaluation 对“foundation / generalization” claim 支撑不足。所有方法都在同一 Stage 3 demonstrations 上 fine-tune，测试对象与训练对象视觉相似，没有严格 novel-object、novel-layout、novel-camera-pose、novel-task-composition 评估。它证明的是：在这些真实任务和这个 embodiment 上，MotionWAM 是一个更好的 fine-tuned policy；还没有证明它是跨硬件、跨场景、跨任务组合的 foundation WAM。

baseline 设计总体合理，尤其把所有方法统一到相同 SONIC action interface，避免“baseline 不能控制腿”的不公平。但这也带来一个解释问题：如果所有 baseline 都能输出 unified motion latent，而 MotionWAM 仍显著更好，那么差距更像 representation prior；如果文中某些描述强调 decoupled baseline 不能表达脚部交互，则需要区分“传统分层接口的限制”和“本实验 VLA baseline 在统一接口下仍学不好”的两个 claim。文中这两者有时混在一起。

Limitation

最深层限制是 MotionWAM 的能力边界由 motion latent 和训练数据覆盖共同决定。它不是直接学会了任意 whole-body control，而是在 SONIC motion manifold 内选择动作。如果目标行为不在 token/codebook 或低层 controller 可稳定执行的范围内，policy 再强也无法表达。这意味着 scalability 很大程度取决于底层 motion foundation controller 的覆盖，而不是只取决于 WAM。

第二，泛化未被充分证明。Stage 3 每任务 200 episodes 是相当强的 task-specific supervision，九个任务的成功可能主要来自“video prior + target-task imitation”的组合，而不是开放世界泛化。没有 novel-object 和 novel-scene 控制实验时，所谓 dynamics prior 可能部分表现为 visual-motion pattern retrieval。

第三，单目 egocentric camera 是明显瓶颈，但不只是传感器问题，而是 state estimation 问题。对象离开视野后模型失去 grounding，说明内部 world state 没有可靠维持，memory/occlusion reasoning 很弱。它更像 reactive closed-loop policy，不是持久状态估计器。

第四，增益归因不清。Stage 1 的 video scaling、Stage 2 的跨 embodiment action data、MotionWAM 的 video DiT hidden state、SONIC latent、任务 teleop 数据都在贡献性能。文中消融只验证了 Stage 1/2 必要性，但没有充分拆开：不同 τ_f、不同 hook layer、冻结/不冻结 video trunk、无视频损失 regularizer、不同 motion latent/codebook、同等视频数据训练 VLM-style encoder 等关键因素。因此“为什么 exactly works”仍有黑箱。

第五，实时性仍是相对的。MotionWAM 通过一次 video forward 达到 chunk-wise 几 Hz，显著快于完整 denoising WAM，但对高频动态接触和快速恢复仍依赖低层 SONIC。它并没有让大模型直接进入高频 control loop，而是通过 action chunk + low-level controller 隔离了实时控制难题。

Takeaway

• 1. 对机器人控制来说，video generator 最有价值的可能不是生成出的未来像素，而是 denoising 过程中的动态表征；这条路线比“把视频完整 rollout 后再规划”更现实。
• 2. Humanoid loco-manipulation 的关键不是简单扩大 VLA，而是先修正 action language。
• 统一 whole-body latent 可能比更大的 semantic backbone 更重要，因为它决定了 policy 能否表达任务驱动的腿和躯干行为。
• 3. 大规模无动作 egocentric video 可以作为 cheap dynamics pretraining，但必须经过 action-grounding stage 才能变成 control capability。

一句话总结

MotionWAM 是把视频生成模型从慢速未来帧采样器改造成实时动态表征 backbone，并通过统一 whole-body motion token 打通 humanoid 上下身动作空间的一类 WAM-to-humanoid 演化方法。