Awesome World Models / OpenReview

From Foresight to Forethought: VLM-In-the-Loop Policy Steering via Latent Alignment

作者：作者信息待提取 · 单位：Carnegie Mellon University · 来源：General Approaches to World Models · 发布日期：2025 · 分类：5. Building World Models by Bridging Language and Vision Intelligence

视觉语言动作/策略学习语言先验潜空间世界模型

精读笔记

Problem Setting

论文标题：From Foresight to Forethought: VLM-In-the-Loop Policy Steering via Latent Alignment（Awesome World Models / 2025）。

这篇论文实际处理的是 runtime policy steering for multimodal generative robot policies：base policy 已经能从当前 observation 采样多个 T-step action plans，但部署时经常选错 mode，例如抓杯子时抓 rim / handle / 插入杯内，抓袋子时抓边缘 / 中部，叉子任务中抓 handle / tines、放入 / 放偏。论文关心的不是从零学习 manipulation，也不是 VLM policy，而是如何在不重新训练 base policy 的情况下，用外部 verifier 在候选动作中做 mode selection。

关键矛盾是：正确行为往往已经存在于 base policy 的 action distribution 中，但用户偏好或上下文约束决定哪个 mode 是“对的”；而这些约束通常是语言层面的、细粒度的、开放词表的，传统 reward/classifier 很难覆盖。另一方面，VLM 虽然擅长语言判断，但低层 robot action sequence 不在其训练分布内；直接把 action 数字、当前图像和任务 prompt 塞给 VLM，本质上要求它同时做动力学预测和语义评价，这正是它不擅长的部分。

因此真正困难不是 verification 本身，而是 verification 的输入表示：候选 action 的未来后果必须被预测出来，并且必须以 VLM 可用的形式呈现。已有路线要么依赖 hand-crafted reward / Q-function / binary failure classifier，要么让 VLM 直接读视频或动作；前者泛化到新语言约束差，后者对细粒度接触和低层动作理解不稳。

Motivation

作者最重要的动机是把“失败”重新解释为 mode-selection failure，而不是 policy capability failure。若 base policy 完全不会产生正确动作，steering 无济于事；但在很多 imitation policy 中，多模态 demonstration 已经让 policy 学到了多个可行 interaction mode，部署失败只是采样或选择偏差。这给 test-time compute 留出了空间：不必更新 policy，只需多采样、预测后果、重排。

已有路线缺的是一个介于 low-level action 和 high-level language judgment 之间的桥。VLM 作为 verifier 的诱惑很大，因为它可以处理“杯柄有油”“避免污染餐具”“尽量稳定但不要压碎”等开放语言约束；但 off-the-shelf VLM 不理解机器人控制量，也不可靠识别短 horizon 视觉序列中的 contact semantics。相反，world model 可以处理 action-conditioned dynamics，却没有语言层面的 commonsense verifier。

所以作者想到的方向是自然的：不要让一个模型同时负责 foresight 和 forethought。让世界模型负责“会发生什么”，让 VLM 负责“这是否符合意图”。真正缺口不是更大的 VLM，也不是更强的 policy，而是 latent outcome 与 natural language reasoning 之间的 alignment layer。

Core Idea

FOREWARN 的核心思想是把 Eq.1 中耦合的 generation-verification 拆开：对每个候选 action plan，先用 latent world model rollout 出未来 latent states；再把这些 latent states 对齐到行为叙述；最后让 VLM 在若干行为叙述之间选择最符合任务描述的 plan。这个重组改变了信息流：VLM 不再直接面对 action 或 raw video，而是面对“预测后的、语义化的行为结果”。

这个建模方式引入了一个很强的 inductive bias：低层连续动力学和高层语言判断应该分离学习。world model 的 latent 被训练成动力学充分统计量，适合预测；behavior narration 则把这种 latent 压缩成 VLM 原生可处理的语义事件，例如“grasp by handle”“grasp through interior”“fails to grasp”。一旦候选后果被翻译成这些语义片段，VLM 的 open-vocabulary reasoning 才可能发挥作用。

和 prior 的本质区别在于，它不是直接训练 latent-to-success classifier，也不是 VLM 直接 caption future images，而是把 world-model latent 当成一种新的 visual token，并通过 narration supervision 把它接入 LLM 的语言空间。这使 verifier 不绑定到训练时的固定成功定义；同一个 behavior narration 可以在不同 task description 下被重新解释，例如“抓杯柄”在普通端水任务中好，在“杯柄有油”时变坏。

Method

方法层面最关键的不是 DreamerV3、Llama-3.2 或 LoRA 这些具体选择，而是三个机制。

第一，candidate-conditioned latent imagination。base diffusion policy 一次采样很多 action plans，再聚合成少数 modes；world model 对每个 mode 预测未来 latent trajectory。它解决的是 VLM 无法从 action 数字推断 physical consequence 的问题。核心变化是把 policy steering 从 action-space ranking 变成 outcome-space ranking。

第二，latent-to-narration alignment。作者冻结 world model，把 predicted latent sequence 投影成 LLM token，并微调 VLM 生成细粒度 behavior narration。这个步骤解决的是 latent state 对语言模型不可读的问题。它不是普通 captioning：训练目标刻意强调 contact location、failure mode、interaction nuance，而不是高层任务语义。

第三，narration-conditioned MCQA steering。VLM 先生成每个 candidate 的 behavior narration，再基于 task description 选择一个 mode。这里作者没有显式训练 reward scalar，而是利用 VLM 的隐式语言判断能力。核心变化是 success criterion 从固定标签空间转成 prompt-conditioned textual comparison，因此在任务描述改变时仍可能工作。

需要注意，系统实际并没有优化连续控制轨迹，也没有在 world model 中做 search；它只是对 base policy 给出的有限候选集合做 re-ranking。所谓 model-predictive control 在这里更接近 sampled candidate evaluation，而不是传统意义上的 planning。

Key Insight / Why It Works

最可能的核心贡献是 representation alignment，而不是 world model 本身或 VLM 本身。论文的消融显示，直接让 VLM 从 action 生成 narration 很差；用 latent classifier 在训练任务上可以接近，但 novel task description 下崩掉；直接用 GPT-4o 看 reconstructed / real images 也难以稳定识别细粒度接触。说明增益来自“把可预测的低层后果转换成可组合的语言符号”，而不是单纯模型更大。

方法有效的机制可以理解为三层压缩：action sequence → latent future → behavior narration → task-conditioned choice。第一层由 world model 注入物理/交互 inductive bias；第二层把连续 latent 离散化为语义可读事件；第三层复用 VLM 的语言先验做规则组合。这个分解降低了每个学习问题的难度：world model 不需要懂用户偏好，VLM 不需要学低层动力学，classifier 不需要为每个新约束重新定义标签。

但也要直接说：这里的“reasoning”很可能主要发生在 narration 之后，本质更像 semantic re-ranking，而不是 VLM 对 latent dynamics 做深层推理。只要 narration 已经包含“grasp by handle / rim / middle / fail”这类离散行为标签，VLM 的选择很容易。这不是缺点，反而是方法成立的原因：作者把难问题转化成一个 VLM 擅长的文本约束匹配问题。

哪些部分可能只是辅助？具体 backbone、LoRA、NMS 聚合、prompt 模板大概率是 engineering；DreamerV3 也不是概念创新。但 latent-to-text narration 这个中间监督是实质的。它避免了 end-to-end latent-to-success 的过拟合，也避免了 raw video captioning 对细粒度 contact 的不稳定。

增益中有一部分可能来自数据覆盖。world model 用了 base policy 成功/失败 rollouts 加 demonstrations；narration labels 也是从同一离线数据人工标注。若测试时出现训练数据中没有的 contact mode、物体动力学或 failure type，系统未必能 narrate。所谓 open-world 更准确说是：在已能 narrate 的行为空间内，对语言约束有一定组合泛化。

Relation To Prior Work

这篇属于 policy steering / runtime verification / learned world model / VLM-as-critic 的交叉谱系。最接近的是 Steering Your Generalists 一类 inference-time re-ranking，以及 failure prediction / runtime monitoring 中用 world model 或 latent classifier 预测失败的路线。它也和 VLM robot failure explanation / video captioning 工作相邻，但目标从 posthoc explanation 转成 preemptive selection。

和 value-guided steering 的差异在于 verifier 不是固定 reward/Q-function，而是 language-conditioned VLM；和 human-in-the-loop steering 的差异在于选择过程自动化；和 binary failure classifier 的差异在于不把 outcome 压成单一 success label，而是先变成可复用的 behavior narration；和 VLA/RT 系列的差异在于它不把语言直接映射到动作，而是把语言放在候选动作评估端。

看似新的部分中，“MPC-style sample candidates + model rollout + verifier ranking”并不新，“verification easier than generation”也不是新观点。实质新增信息是：把 learned world model 的 latent rollout 对齐到 VLM 文本空间，让 VLM 作为 open-vocabulary verifier 使用。这是已有思想的一个有效重组，但重组的位置很关键：不是 image reconstruction 后让 VLM 看图，而是直接在 latent token 层接入 LLM 并用 narration 监督。

Dataset / Evaluation

评估是强项之一，因为用了真实 Franka 硬件，而不是纯模拟或离线 benchmark。任务包括 Cup、Bag、Fork-to-Bowl：覆盖刚体抓取、可变形袋子、较长 horizon pick-place，以及不同 grasp/placement modes。它们确实针对论文 claim 设计：base policy 有多模态行为，失败常来自 mode selection，任务描述会改变 preferred mode。

实验支持两个核心结论：第一，显式 world-model prediction 对 VLM steering 必要；第二，latent-to-text alignment 比 end-to-end latent success/category prediction 更能适配 novel task description。尤其训练任务下 classifier 可以接近 FOREWARN，而 novel task 下掉得很厉害，这比较有说服力地说明 narration intermediate representation 提供了组合泛化。

但 evaluation 的上限也很明显。任务数少，物体类别少，novel task description 基本是人工构造的偏好翻转或约束替换，不是开放世界长尾指令。环境 OOD 只是颜色、大小、背景变化，不能证明大范围视觉泛化。每个任务的数据和 narration 都是专门收集/标注的，因此 claim 更应理解为“在小规模真机任务上展示了一个有效机制”，而不是已经证明 scalable open-world robot steering。

另一个 evaluation limitation 是候选集合依赖 base policy 采样。成功率提升同时受 base policy 多样性、mode aggregation、world model accuracy、VLM selection 影响。论文有消融，但增益归因仍不完全干净：例如 K=6 聚合后的候选质量、人工 narration label 粒度、prompt 规则强度都可能显著影响最终结果。

Limitation

第一，方法的硬前提是 correct behavior already exists in candidate set。如果 base policy 没采到正确 mode，FOREWARN 只能拒绝或选次优，不能创造新行为。它解决的是 selection，不是 capability acquisition。

第二，world model 是系统瓶颈。论文自己也承认失败主要来自 imagination 不准。尤其 manipulation 中很多关键差异是接触瞬间、遮挡、微小姿态和可变形物体形变；latent rollout 若错，VLM 会在错误 narration 上做自洽推理。系统缺少 uncertainty-aware selection：当前只取最可能 rollout，未充分利用 stochastic dynamics 的不确定性。

第三，narration supervision 是隐含的人类语义抽象。方法看起来 open-vocabulary，但实际能泛化的边界由 narration taxonomy 决定。如果训练 narrations 只覆盖 handle/rim/middle/fail 等有限语义，那么 VLM 的开放推理只发生在这些已命名行为之上。更复杂任务需要更丰富、更一致的行为语言标注，成本和可扩展性文中未充分说明。

第四，所谓 VLM latent reasoning 可能被高估。VLM 并不是直接理解 latent physics，而是被训练成 latent-to-caption decoder，然后在 caption 上做选择。这个 decomposition 很实用，但不应解释为 VLM 获得了通用 sensorimotor foresight。

第五，长 horizon 上限不清。Fork 任务被分成阶段性 steering，仍然是局部 T-step candidate selection。系统没有维护长期目标状态、历史失败记忆或全局 plan consistency；多轮闭环可能累积 narration error 和 mode-selection myopia。

第六，泛化证据有限。novel task descriptions 与训练任务共享同一物体、动作模式和语义维度，只是偏好方向改变。这里的泛化更像 language-conditioned relabeling，而不是真正跨任务、跨物体、跨技能迁移。

Takeaway

  • 1. 最值得迁移的 insight 是：不要让 VLM 直接读低层动作；先用 embodied model 预测后果，再把后果翻译到语言空间，让 VLM 做它擅长的约束组合与偏好判断。
  • 2. Behavior narration 是一个比 binary success label 更好的中间表示。
  • 它把 outcome 变成可复用语义资产，同一行为描述可以在不同任务条件下被重新评价。
  • 这比训练 task-specific verifier 更可能扩展。

一句话总结

FOREWARN 是一类“world-model foresight + language-space verification”的 runtime policy steering 方法，真正贡献在于把低层动作后果对齐成可被 VLM 复用的行为叙述，从而把机器人控制中的 mode selection 转化为语言条件下的语义重排。