精读笔记

Problem Setting

Dreaming when Necessary: Advancing World Action Models with Adaptive Multi-Modal Reasoning（arXiv preprint / 2026）。

这篇论文处理的不是传统意义上的 robot policy learning，也不是单纯提升 WAM 的视频预测质量，而是 WAM 在长程具身控制中“何时使用哪种推理资源”的问题。现有 WAM 大致有两个极端：video-action joint prediction 全程生成未来视觉，提供物理前瞻但延迟高；action-only WAM 放弃测试时 imagination，效率高但在 grasping、alignment、insertion 等局部精细阶段容易退化为反应式控制。

真正困难点在于，长程 manipulation 的计算需求是高度非均匀的。任务阶段切换时，模型需要知道“我现在做到哪一步、下一步是什么”；局部接触时，模型需要预测视觉/几何后果；而中间大量 reaching/repositioning 阶段并不需要昂贵的 multimodal reasoning。以前方法卡在把 inference mode 设计成静态选择：要么一直 dream，要么几乎不 dream。关键矛盾就是 robustness 与 latency 之间的固定 trade-off 被任务阶段结构放大了。

Motivation

作者的动机比较明确：WAM 的收益并不来自全程 video generation，而来自在少数关键状态下的物理前瞻；同样，语言的价值也不只是全局 instruction，而是在子任务边界处重新对齐当前执行阶段。换句话说，long-horizon failure 往往不是低层控制全程不好，而是阶段错位和关键接触处没有足够条件信息。

已有路线缺的是 adaptive multimodal reasoning：不是更多模态，也不是更大模型，而是让模型知道何时该调用哪类模态推理。Fast-WAM 已经暗示 test-time future imagination 不一定总需要；CoT/VLA 路线则说明显式中间语义有助于长程任务。但两者没有在 WAM 框架里统一成“按需计算”。AdaWAM 正是填这个空：把文本推理、视觉想象和 action-only decoding 看成可切换的执行模式。

Core Idea

核心思想可以概括为：把 WAM 从固定推理图改成 execution-context-conditioned computation graph。每个 action chunk 先由 router 判断是否需要 text reasoning 和 visual reasoning；text reasoning 用来更新局部子任务条件，visual reasoning 用来生成 future latent，action predictor 再根据实际激活的条件集合生成动作。这样，模型不是默认每一步都进行完整世界模拟，而是在必要阶段才 dream。

这个改变引入了一个很强的 inductive bias：具身任务存在阶段结构，且不同阶段需要不同信息瓶颈。文本负责离散语义阶段，视觉负责连续物理前瞻，动作解码负责常规执行。相比 prior 的本质区别在于，它不是争论“video prediction 是否有用”，而是承认 video prediction 的边际价值是状态依赖的，并把这个 value-of-computation 问题显式参数化为 routing。

Method

方法上最值得保留的是三层机制。

第一，routing supervision。作者用轨迹信号定位 subtask transition 和 fine manipulation interval，再用 VLM 做视觉验证，生成 dense per-frame 标签。这解决的是 router 没有天然监督的问题。这里的关键变化是把“什么时候推理”从隐式策略学习问题转成 supervised phase classification。它有效但也带来明显上限：routing 的质量高度依赖启发式阶段标注。

第二，动态文本条件。Text Reasoning Module 只在 TR 触发时根据视觉历史和全局指令预测下一/当前子任务，使 ActionDiT 接收 temporally aligned subtask conditioning。这解决长程任务中静态 instruction 粒度太粗的问题。核心变化不是 VLM 本身，而是把 language 从 global prompt 变成 execution-time state variable。

第三，稀疏视觉想象。VideoDiT 只在 VR 触发时生成 future visual latent，供 ActionDiT 作为物理前瞻条件；否则直接 action-only decoding。这解决 video-action joint inference 延迟过高的问题。核心变化是把 world model 从 always-on prior 改成 conditional auxiliary computation。

训练 recipe 本身比较常规：flow matching 训练 video/action DiT，BCE 训练 router，冻结 backbone 后 fine-tune text module。真正机制不在这些 loss，而在离散 routing 与连续 action generation 的耦合。

Key Insight / Why It Works

这篇最有价值的 insight 是：WAM 的 test-time imagination 应该被看作稀缺计算资源，而不是模型范式的必选项。视频前瞻对控制的边际收益主要集中在 contact-rich / precision-critical 状态；语言推理的边际收益主要集中在 subtask transition；其余状态用 action-only 即可。这是一个比“更强 world model”更可迁移的观点。

为什么可能有效？第一，routing 实际提供了 latent curriculum / phase decomposition。它把长程轨迹切成语义边界和控制关键区间，降低了 policy 在单一 conditioning 下拟合所有状态的难度。第二，动态 subtask text 是一种 memory/state reuse：模型不必从全局指令和当前图像中每一步重新隐式推断进度，而是维护一个局部任务状态。第三，视觉 foresight 在精细操作时相当于额外的 dense spatial prior，尤其对抓取、挂杯、对齐这类动作有帮助。

但需要直接指出：这里的“reasoning”很大程度上是 supervised routing + subtask retrieval，不一定是开放式推理。TR 更像从视觉进度映射到预定义子任务文本；VR 更像在标注的关键区间注入一个昂贵 latent conditioner。最核心贡献应是 adaptive conditional computation，而不是文本/视觉模块本身。增益也可能部分来自额外标注、VLM 语义验证、以及使用强 pretrained Wan/Qwen backbone；文中没有充分隔离这些因素。

Relation To Prior Work

AdaWAM 位于 WAM 与 embodied CoT/VLA 的交叉位置。和 DreamZero、Motus、LingBot-VA 等 video-action joint WAM 相比，它不再默认全程 video-action co-decoding，而是只在关键区间调用视觉世界模型。和 Fast-WAM 相比，它不同意“测试时想象基本可省略”的强结论，而是给出折中：大多数时候可省，关键时候不能省。

和 CoT-VLA / ACoT-VLA / MM-ACT 的关系也很近：动态文本子任务本质上继承了显式中间语义监督的思路。但 AdaWAM 的实质差异在于文本不是独立 rationale，而是参与 WAM 的 action/video conditional generation；视觉想象也不是 VLA 的 visual CoT，而是 latent world model foresight。

看似新的部分中，VLM 标注子任务、DiT 生成动作、future latent conditioning 都不是新概念；实质创新是把这些已有组件组织成一个 token-level routing 的 conditional computation framework。它属于“test-time compute allocation for embodied policies”这条技术谱系，而不是单纯的 WAM scaling。

Dataset / Evaluation

评估覆盖了 LIBERO、RoboTwin 2.0 和少量 ALOHA/PiPER 真机任务，基本能覆盖论文 claim 中的两个关键场景：长程多阶段任务和精细操作任务。LIBERO-Long 与 RoboTwin hard subset 对 subtask transition / fine manipulation 的需求确实更高，因此适合验证 adaptive reasoning 是否有用。真机实验有价值，但规模太小，更像 sanity check 而不是 robust deployment evidence。

实验总体支持“效率-性能折中更好”的 claim：AdaWAM 在长程和 hard tasks 上优于 Fast-WAM 等 action-only baseline，同时推理时间比全程复杂 CoT/VLA 更合理。消融也符合预期：去掉文本影响未见组合，去掉视觉影响精细操作。但 evaluation 仍有明显不足：routing label 与 benchmark task structure 高度同源，可能让模型受益于 benchmark-specific phase priors；未见组合实验只重组少量对象/子任务，不能证明开放泛化；没有充分展示 router 错误分析、触发频率分布、VR 质量与成功率的因果关系。

Limitation

最核心限制是 AdaWAM 的自适应不是自主发现的，而是由启发式轨迹分析和 VLM verification 监督出来的。也就是说，它把“何时推理”这个困难问题部分转移到了 annotation pipeline。若任务没有清晰 subtask 边界、轨迹 cue 不可靠、contact phase 难以从状态信号识别，router 的 supervision 会变弱。

第二，泛化上限受预定义子任务空间限制。TR 看起来像 reasoning，但更可能是在已见语言-视觉阶段之间做匹配；对真正开放指令、未定义子目标、失败恢复、循环任务，文中未充分说明。第三，VR 的物理前瞻是否真实被 action policy 使用仍不清楚。缺少对 future latent accuracy、counterfactual VR 质量、以及 action sensitivity 的分析，因此视觉 imagination 的增益归因不干净。

第四，scaling / data 成分不可忽略。使用强 pretrained video model、Qwen3-VL、额外阶段标注和多 benchmark 数据，可能已经解释相当部分收益。论文没有给出足够控制来区分 adaptive routing 的结构性贡献与 data/annotation/backbone scaling 的贡献。第五，真实部署中 router 的 false negative 可能比平均指标显示得严重：少触发一次视觉想象可能导致抓取失败，错过一次文本更新可能导致阶段漂移，而这些长尾错误在 benchmark success rate 中被掩盖。

Takeaway

• 1. WAM 的关键演化方向可能不是“更会 dream”，而是“知道什么时候 dream”。
• test-time compute allocation 会成为 embodied world model 的核心问题。
• 2. 长程 manipulation 中，语言更适合作为动态阶段状态，而不是静态 task prompt；视觉前瞻更适合作为局部精细控制的条件，而不是全程 planner。
• 3. 这篇真正推动的是一种阶段感知的 multimodal conditional computation 设计：把 semantic transition、physical foresight、action-only execution 分离并按需组合。

一句话总结

AdaWAM 是 WAM 从固定 video-imagination pipeline 向阶段感知、按需 multimodal test-time compute 演化的一步，真正贡献在于 routing-based conditional computation，而不是单个文本或视频模块。