精读笔记
Problem Setting
[World Action Models: A Survey]（arXiv preprint / 2026）
这篇论文实际处理的是 WAM 领域的概念塌缩问题：大量工作都在把“预测未来”接到机器人动作上，但它们来自 VLA、video generation、world model、model-based RL、latent policy、VLM action policy 等不同谱系，导致同一个名字下可能是完全不同的机制。真正困难不是给 WAM 下一个漂亮定义，而是找一个能解释这些方法为什么在控制中不同、为什么成本不同、为什么泛化路径不同的抽象层级。
以前的分类方式卡在 backbone 或输出形式上：用 video diffusion 的不一定是 WAM，预测视频的也不一定能服务 action；反过来，不生成视频的 feature / token / geometry predictor 也可能是更典型的 WAM。关键矛盾是：未来表示越丰富，越昂贵、越慢、越难闭环；未来表示越抽象，越便宜、越可控，但越难保证物理真实性和可解释性。论文的核心问题就是把这个 trade-off 变成一个可讨论、可比较的设计空间。
Motivation
已有路线各自缺一块。标准 VLA 直接学 p(a|o,l)，可以利用 web-scale semantic prior，但不显式建模 intervention 后的 consequence；video world model 可以生成未来，但它的目标通常是 visual plausibility，而不是 executable control；model-based RL 有 dynamics 和 planning，但往往缺少大规模视觉/语言先验，也不自然覆盖当前 video/VLM foundation model 体系。
作者的核心观察是：领域真正的收敛点不是“是否生成视频”，而是“预测出的未来是否留在动作路径里”。很多看似不同的工作其实共享同一个 contract：未来表示必须帮助 produce、score 或 train action。关键缺口是缺少一套语言来区分：完整渲染未来、只用 latent/feature、完全不用 video generator、动作先验候选 rollout、joint future-action generation、post-hoc inverse dynamics head，这些机制在控制意义上完全不同。
Core Idea
论文最重要的思想是把 WAM 定义为 action-facing future model：预测未来本身不够，未来必须进入 action path。这个定义看似简单，但它切掉了很多“伪 WAM”：只带 auxiliary future loss 但 inference 不用 future 的 VLA，不算；只作为 RL 环境的 simulator，不算；单纯 video generator，不算。这个边界很有用，因为它把讨论从模型名字转到信息流：未来信息在哪里产生、在哪里被动作消费、是否会影响当前执行。
进一步，论文用两个互补视角重组领域。第一层是设计哲学：Render-and-Decode 继续生成到 pixels 再解码 action；Latent-Only 保留 video prior 但在 latent / flow / mask / feature 处截断；Video-Generation-Free 直接在 language token、VLM feature、JEPA embedding、geometry、audio 或 affordance 空间预测未来。第二层是四元组 anatomy：substrate、coupling、backbone、deployment。这个框架引入的 inductive bias 是“控制只需要未来的某些 sufficient statistics”，因此最优方向可能不是更真实的视频，而是更便宜、更因果、更可执行的 action-relevant future。
Method
方法贡献主要是抽象机制，而不是实现。
1. Action-facing future contract：解决 WAM 与 VLA / WM / VGM 的边界问题。它要求未来预测参与动作生成、动作评分或动作训练，而不是作为旁路监督存在。核心变化是把“预测能力”改成“预测-动作耦合能力”。
2. 三类设计哲学：解决“生成什么程度的未来”这个问题。Render-and-Decode 用完整视觉未来换取 inspectability 和强 visual prior；Latent-Only 在中间表示截断，保留 dynamics prior 但减少 latency；Video-Generation-Free 放弃 video generator，用更紧凑的 token / embedding / geometry / affordance 未来降低成本。这里的关键不是分类，而是把生成负担和控制需求解耦。
3. 四轴 anatomy：substrate 决定未来变量的表达空间，action coupling 决定动作如何进入或离开预测，backbone 决定预测函数族，deployment regime 决定闭环代价。这个四元组的必要性在于，同一个 video diffusion backbone，如果用于 open-loop video plan、chunked action denoising、single-step latent policy，实际控制属性完全不同。
4. 五个 embodied properties：interactability、causality、persistence、physical plausibility、generalization。它们不是 checklist，而是互相牵制的约束：更强交互性通常提高 coupling 成本；更强 persistence 需要 memory；更强 physical grounding 往往需要牺牲 visual abstraction 或增加传感器监督。
Key Insight / Why It Works
这篇论文最有价值的 insight 是：WAM 的本质不是 world model + action head，而是 action-relevant future bottleneck。真正决定方法是否有效的，不是未来是否 photorealistic，而是未来表示是否保留了动作选择所需的 sufficient variables。这个判断非常重要，因为它解释了为什么很多 Latent-Only / feature / flow / affordance 方法可能比完整 video generation 更适合部署。
我认为核心贡献是将“生成多少未来”变成一个可优化变量。Render-and-Decode 的优势主要来自 pretrained video prior 和可检查的 visual plan，但代价高、闭环慢，而且 visual fidelity 与 success 相关性弱。Latent-Only 的优势更像 better inductive bias + latency engineering：它承认视频预训练有用，但不把 pixel rendering 当作 inference 必需步骤。Video-Generation-Free 则进一步把问题转成 representation alignment：未来可以是 teacher feature、VLM token、motion vector、point flow、affordance map，只要它能约束 action。
很多论文宣称的 reasoning / planning，很可能主要来自 data coverage、foundation model prior 或 test-time compute，而不是显式长期状态建模。尤其是 rendered-future planners，如果没有强闭环 re-grounding 和 causal leakage control，所谓 planning 可能只是检索式生成一个 plausible trajectory，再由 inverse model 硬接到 action。相反，更值得迁移的是那些把 future 压缩成 control-facing substrate 的设计：flow、mask、value map、tactile latent、proprioceptive future、teacher embedding。这些不是更炫的生成，而是更接近控制变量的 representation alignment。
辅助机制里，chunking、asynchronous refresh、early exit、denoising schedule adaptation、cache replacement 多数属于 engineering / systems-level scaling，但它们不是低价值；在 WAM 中，latency 本身就是算法约束。问题是增益归因经常不清：如果一个方法赢了，可能是更大 backbone、更好 robot data、更强 action decoder、更慢 test-time compute，也可能真的是 substrate/coupling 更好。当前文献大多没有把这些因素拆开。
Relation To Prior Work
它最接近三条技术谱系的交汇：VLA、video world model、model-based RL。和 VLA 的本质差异是，WAM 要求 consequence representation 进入 action path；和 video world model 的差异是，WAM 不以生成未来为终点，而以未来约束 action 为目标；和 model-based RL 的差异是，当前 WAM 更多借助 large video/VLM priors，并且 substrate 可以是 pixel、feature、geometry、affordance，而不只是 compact latent state。
很多看似新的东西其实是旧思想重组：predict-then-act 类似 classical planning + inverse dynamics；candidate action rollout 类似 MPC / model-based control；latent future prediction 类似 Dreamer / JEPA / representation learning；visual chain-of-thought 更像把 subgoal / plan token 化。实质新增的信息是：这些旧机制被放到 foundation-model scaling 之后，形成了新的成本结构和新的表示选择。视频预训练让 rich future prior 可得，但机器人控制迫使模型“少生成一点”。
这篇 survey 的实质创新不是提出新模型，而是给领域提供了一个比 related-work tree 更可操作的坐标系。它把“是否 WAM”绑定到 action-facing future，把“方法差异”绑定到 substrate/coupling/deployment，而不是绑定到论文自称的标签。
Dataset / Evaluation
论文本身不是实验论文，evaluation 主要是对现有数据和评测实践的批判性整理。它指出 WAM 的数据来源存在天然分工：teleoperation 给高质量 action labels，portable human demos 给规模但带 embodiment gap，internet egocentric/instructional video 给 visual dynamics 但缺 action，simulation 给便宜标签但有 sim-to-real gap，synthetic WAM rollouts 给补充数据但继承 generator failure。
这个分析支持一个重要判断：WAM 的泛化 claim 不能只看任务成功率，必须看数据是否真的覆盖了被宣称的 shift。跨场景、多任务、跨 embodiment、contact-rich、long-horizon persistence 是不同问题，不能用一个 benchmark 混在一起证明。
评测方面，论文对当前 field 的批评是成立的：FVD/FID/LPIPS 等视觉指标基本不能验证 action utility；simulation closed-loop 有吞吐但可能偏离真实物理；real-robot evaluation 最可靠但成本高；physical plausibility 和 long-horizon coherence 尚无强标准。文中未充分说明的是如何把这些评测统一成可执行 protocol。它提出 accuracy-at-budget 的方向是对的：success、latency、memory、horizon、contact failure 应一起报告，否则 WAM 的核心 claim 很容易被 benchmark choice 掩盖。
Limitation
这篇论文最大的局限是框架归纳很强，但缺少统一实证支撑。它能解释为什么各类 WAM 可能不同，却不能证明哪类设计在控制上严格更优。很多结论来自横向文献观察，而这些论文的数据、任务、硬件、action space、closed-loop cadence、evaluation budget 都不一致，因此“field is moving toward dream less”的判断可信，但不是因果证明。
分类边界也有不确定性。pixel-decodable latent 到底算 pixel-grounded 还是 latent-only，feature tap 是否真的形成 future substrate，auxiliary prediction 是否实质影响 action path，这些都依赖作者对 inference graph 的解读。某些方法可能只是训练时用了 future supervision，部署时实际像普通 policy；这种情况下称为 WAM 会高估 future 的作用。
方法成立依赖几个隐含前提：第一，存在某种未来表示足以约束动作；第二，该表示可由可用数据稳定学习；第三，action decoder 能把该表示落到具体 embodiment；第四，benchmark 能暴露这个未来表示的价值。任何一个前提失效，WAM 可能只是把问题转移了：从 policy learning 转移到 inverse dynamics、retargeting、latent-action grounding、feature alignment 或 evaluator design。
泛化方面也要谨慎。很多所谓 generalization 可能主要来自 data coverage 和 foundation model prior，而不是 WAM-specific reasoning。planner 实际未必形成长期状态建模，可能只是 chunk-level re-generation + local correction。真实部署的上限仍受 latency、memory、causal leakage、contact sensing、action label cost 和 physical grounding 限制。
Takeaway
- 1. WAM 最值得记住的不是“给 VLA 加世界模型”，而是“让未来表示成为 action path 的一部分”。
- 这个判据可以直接迁移到任何 predictive policy 设计中。
- 2. 未来方向大概率不是更完整的视频生成，而是可调的 selective imagination：平时用 cheap latent / feature / affordance，关键接触或不确定阶段再调用 heavy future model。
- 3. 最有迁移价值的 insight 是 substrate design。
一句话总结
这篇 survey 把 World Action Models 从“视频生成加动作头”的模糊概念，重新定义为 action-facing future 的设计空间，并指出该方向的核心演化是从生成完整未来转向生成控制所需的最小未来表示。