精读笔记

Problem Setting

这篇论文解决的不是一般意义上的机器人 RL，也不是给 VLA/WA 模型加一个在线微调阶段，而是 WA 模型内部 world model 与 action model 的协同后训练问题。

WA 模型的特殊性在于：world model 不是普通 perception backbone，而是 policy 的规划空间；actor 不是完整策略，而更像把 imagined future / latent plan 翻译成动作的 decoder。因此性能瓶颈来自两个层面：world model 是否能生成对任务有用、可恢复、长时程一致的未来；actor 是否能把这些未来落地成真实动作。

以前方法卡在两个极端：监督式 WA 依赖专家数据，无法从交互中修正 failure modes；VLA-style RL 通常只调 policy/action head，默认 representation 固定且足够好。对 WA 来说这个假设不成立，因为 actor 的上限受 world model latent 质量约束。长时程任务中的关键矛盾是：需要在线更新 world model 来减少累积预测误差，但更新 world model 又会改变 actor 所依赖的 latent interface，造成训练不稳定。

Motivation

作者的核心观察比较明确：WA 的主要能力来自 world model，actor 更多是 translator。这个判断是整篇论文成立的前提。若 world model 没有学到失败后的可恢复动态，actor-only RL 最多在短 horizon 内改善动作选择，无法凭空产生长期纠偏策略。

已有路线不够的地方在于，它们把后训练重点放在 action policy 上，而没有处理 WA 结构中“想象空间本身是否需要随在线经验更新”的问题。对长时程 manipulation 来说，错误不是一次性动作误差，而是预测误差与执行误差在 chunk 之间累积。只优化 actor 相当于在一个有偏 world prior 上做局部适配。

因此论文真正想补的缺口是：如何让 world model 从在线交互中吸收任务相关动态，同时保持 actor 可读；以及如何给 actor 一个不依赖人工 task reward、但能对齐 world imagination 的 dense training signal。

Core Idea

WAM-RL 的核心不是“RL + video SFT”这两个模块的拼接，而是重新定义 WA 后训练里的优化分工：world model 负责通过在线成功轨迹更新 imagined future 的分布，actor 负责通过 reconstruction reward 学会实现这些 imagined future。也就是说，系统不直接把 task success 端到端反传给整个 WA，而是把长期能力拆成“更好的想象”和“更忠实的执行”。

这个设计的直觉基础是：如果 WA 的 latent plan 已经包含合理未来，那么 actor 的学习目标不应是重新发现任务，而应是让环境轨迹匹配这个计划；如果 latent plan 本身缺失失败恢复或长时程动态，则必须更新 world model。与 prior 的本质区别在于，VLA-RL 通常把 world/vision representation 视作固定条件，而 WAM-RL 把 world model 当成可在线适应的策略核心。

它引入的 inductive bias 是 reconstruction-as-grounding：真实执行越接近模型预测，说明 actor 越好地实现了 world plan。这比 sparse reward 更密集，也更贴合 WA 的生成式结构。但这个 bias 同时带来风险：如果 world model 想象错了，actor 会被奖励去实现错误想象。

Method

方法层面最关键的是三件事。

第一，world model 用在线成功轨迹做 video SFT。它解决的是 pretrained WA 对当前任务失败动态、恢复策略、局部接触细节覆盖不足的问题。核心变化是把在线交互数据注入 planning prior，使 world model 不再只复现 demonstration distribution，而能看到当前 policy 诱发的状态分布。

第二，world model 更新时加 latent KL。它解决的是 co-training 中最危险的接口漂移：actor 消费的是 world model 中间 latent，如果 world latent 因 SFT 快速改变，actor 的 translation function 会立即失效。KL 的作用不是提升表达能力，而是维持 latent geometry 的连续性。它是稳定训练的工程性但必要约束。

第三，actor 用 reconstruction-based reward 做 RL。reward 比较 imagined future 和 executed future，可用 pixel、flow、DINO、V-JEPA 等相似度。它解决的是 actor 缺少 dense supervision 的问题，把 actor learning 转化为“实现 world model 计划”。这里真正重要的不是具体相似度，而是 reward 与 world model 内部目标的一致性。实验里 pixel MSE 胜过更判别的 optical flow，说明 alignment 比 success/failure separability 更关键。

Flow-SDE / flow policy likelihood 部分更多是让 flow-based actor 可被 policy gradient 优化的技术接口，不是论文最核心的新 insight。

Key Insight / Why It Works

最重要的 insight 是：WA 模型的长时程改进主要受 world model 限制，而不是 actor 优化能力限制。actor-only RL 在短任务上有效，是因为局部动作误差可以通过 policy gradient 修正；但在长任务里，world model 的 imagined future 如果不包含 recovery 或偏离真实 dynamics，actor 没有信息来源去生成正确长期行为。

WAM-RL 有效的原因更像 representation alignment + online data coverage，而不是传统意义上的 RL planning。online video SFT 改善了 world latent 中的任务相关动态，尤其是失败恢复模式；reconstruction reward 让 actor 留在 world model 支持的轨迹流形上，减少 OOD action；KL 防止 world/actor 接口断裂。三者组合形成一个保守自改进闭环：只在成功轨迹上扩展 world model，只用 reconstruction reward 约束 actor 实现这些轨迹，再用 KL 限制表示漂移。

我认为核心贡献是“world model 必须在线适应，且适应时要保护 actor-readable latent interface”这一点。reconstruction reward 是合理但相对自然的配套设计；Flow-SDE policy gradient 部分更像借用已有 flow-based RL 技术；KL 正则是稳定 recipe，但不是概念突破。

需要警惕的是，这里的“recovery behavior emergence”可能并不代表真正的长期规划。它也可能只是 successful online rollouts 中包含了 re-attempt 模式，video SFT 后 world model 在短 chunk 内学会补全该模式。换言之，所谓 world-model planning 可能相当程度是 trajectory pattern retrieval / completion，而不是显式长期状态推理。文中没有提供足够证据区分这两者。

另一个关键判断：pixel MSE 表现最好说明 reward 的语义判别性不是全部。对这类生成式 policy，reward 与模型训练分布/生成目标的同构性可能更重要。也就是说，好的 RL signal 不一定是最接近任务成功的 signal，而是最能稳定塑形 latent-to-action mapping 的 signal。

Relation To Prior Work

这篇工作位于 WA/video-action model 与 VLA-RL post-training 的交叉处。最接近的路线包括 Genie Envisioner / Cosmos Policy / DreamZero 这类将 video prediction 与 action generation 耦合的 WA 模型，以及 π_RL / SimpleVLA-RL / RIPT-VLA 这类对 VLA 或 flow-based action model 做在线 RL 的方法。

与 WA prior 的差别是：过去 WA 主要依赖 expert trajectories 做 supervised post-training，世界模型作为静态 planning prior；WAM-RL 明确把 world model 放进在线优化闭环，并讨论 actor-only 不足。这个差别是实质性的，因为它改变了后训练对象。

与 VLA-RL prior 的差别是：VLA-RL 通常优化 action policy，把视觉/语言表示当固定条件；WAM-RL 认为 WA 中 representation 本身就是 planner，必须被更新。换句话说，VLA-RL 是 policy adaptation，WAM-RL 更接近 model-and-policy co-adaptation。

看似新的部分里，video SFT、KL regularization、reconstruction reward 都不是单独新概念；新意在于它们被组织到 WA 的 latent interface 稳定问题上。实质创新是问题分解和经验结论：actor-only 对长时程 WA 不够，world model adaptation 才是关键。

Dataset / Evaluation

评估覆盖 LIBERO-Object 和 RLBench Water Plants，能初步说明方法在 object-centric manipulation 与较长时程 simulated skill 上有收益。但整体 evaluation 很有限：没有真机，没有大规模多任务 RLBench，没有跨 embodiment 或跨场景泛化，也没有展示在线数据量、成功轨迹采样策略、失败轨迹利用方式对结果的系统影响。

实验最支持的 claim 是：在这些模拟 benchmark 上，joint world+actor optimization 比 actor-only 更稳，尤其在 Water Plants 这类 actor-only 无法提升的任务上有小幅改善。它没有充分支持更强的 claim：例如 WA-RL 可以持续扩展世界模型能力、解决长时程泛化、或显著改善真实部署。

RLBench 的提升幅度较小，说明长时程问题仍未真正解决。LIBERO 的提升更明显，但 LIBERO-Object 本身是否足以验证 world model recovery dynamics 仍可疑。定性 recovery 行为很有启发性，但缺少量化 failure recovery rate、OOD state coverage、prediction accuracy vs policy success 的因果拆解。

Limitation

这篇方法成立依赖几个强前提。

第一，world model 的 imagined future 必须大体正确。reconstruction reward 只会让 actor 执行想象，而不会判断想象是否对任务最优。如果 world model hallucinate 了错误未来，actor 会被训练去追随错误计划。

第二，成功轨迹必须包含有用的新动态。online video SFT 的收益可能主要来自数据覆盖，而不是 RL credit assignment。若在线探索拿不到足够成功轨迹，world model 没有有效学习信号；若成功轨迹高度重复，方法容易变成 filtered behavior cloning。

第三，KL 正则是一把双刃剑。它稳定 actor-readable latent，但也限制 world model 远离 pretrained distribution。规模变大、任务差异变大时，这个约束可能成为能力上限。论文自己也承认适应幅度受限。

第四，增益归因不清。joint optimization 的提升到底来自 world model 更准确、actor 更稳定、reward shaping 更好，还是在线数据带来的 implicit curriculum，文中没有完全隔离。尤其 recovery 行为可能是 video SFT 记住了成功恢复片段，而非学到一般可组合恢复策略。

第五，benchmark 到真实部署的鸿沟很大。视觉 reconstruction reward 在真实机器人上会受相机视角、遮挡、光照、非任务相关像素变化影响；pixel MSE 在模拟里有效，不代表真机可靠。所谓 planning 也可能只是短 chunk video completion，不一定形成真正的长期状态建模。

Takeaway

• 1. 对 WA 模型来说，后训练的主战场不应只在 actor；world model 是长期能力上限，必须能从在线交互中适应。
• 2. world model adaptation 的核心难点不是 video loss，而是保持 actor-readable latent interface。
• 未来更好的方法可能需要显式 latent alignment、adapterized world updates、或 actor-world joint representation relabeling，而不是简单 KL。
• 3. reconstruction reward 的价值在于 grounding imagination，而不是替代 task reward。

一句话总结

WAM-RL 是把 WA 模型从静态专家监督推向保守在线自适应的一步，真正贡献在于指出并初步解决了 world model adaptation 与 actor latent-interface 稳定之间的矛盾，而不是提出了一个全新的 RL 算法。