Submitted to ICLR 2024 / 强化学习/世界模型

Learning to Model the World with Language

作者：Jessy Lin, Yuqing Du, Olivia Watkins, Danijar Hafner, Pieter Abbeel, Dan Klein, Anca Dragan · 会议/期刊：Submitted to ICLR 2024 · 分类：强化学习/世界模型 · 发布日期：2023

具身智能

精读笔记

Problem Setting

《Learning to Model the World with Language》（Submitted to ICLR 2024 / 2023）关注的不是传统 instruction following，而是更一般的 language-in-the-world：agent 在交互过程中持续接收视觉和语言，语言可能是任务、规则、状态描述、未来提示、纠错或问答信号。实际问题是：如何让 RL agent 从这类异质语言中提取对行为有用的信息。

关键矛盾在于，许多语言并不直接指定当前动作，却会改变 agent 对世界状态和 dynamics 的 belief。比如“瓶子在客厅”不会告诉 agent 下一步必须向左还是向右，但它会改变搜索策略；“pedal to open the recycling bin”不对应单一步动作，而是改变 action-effect model。若仍用 reward-driven policy learning 来学语言，监督信号既稀疏又错位。以前方法卡在把语言当 policy condition：只有 instruction-like language 才自然适配，declarative language、rule language、delayed feedback 都很难通过 action loss 学到。

Motivation

作者的动机不是“给 Dreamer 加文本输入”，而是重新定义语言在具身 RL 中的作用。核心观察是：自然语言的很多价值在于帮助预测未来，而非直接决定动作。语言可以降低对未来观测的 uncertainty、改变对环境转移的预期、或者说明什么未来状态会有 reward。

现有路线缺的是一个 dense、self-supervised、可扩展的 grounding objective。纯 RL 的 reward 太窄；supervised imitation 需要专家轨迹和人工标注；LLM/VLM prior 很强但难在线更新，也不一定 grounded 到 agent 自己的感知和动作。Dynalang 试图用 future prediction 把这些信号统一起来：语言理解不是靠“执行对了没有”学，而是靠“它是否让未来更可预测”学。

Core Idea

论文真正的核心思想是：把语言作为 world model 的 evidence，而不是 policy 的 prompt。agent 不直接学习 p(action | image, language)，而是学习 p(future latent, future image, future text, reward | history image, history text, actions)。语言首先改变 latent belief，然后通过 model-based imagination 影响 policy。

这个建模方式引入了一个重要 inductive bias：语言的语义应体现在它对未来的约束中。状态描述约束未来可见物体，规则描述约束 action dynamics，instruction 约束 reward landscape，问答场景中视觉状态约束未来可说出的 token。相比 prior 的本质差异是，它不要求语言和最优动作在同一时间步强相关；只要语言和未来某种可观测变量相关，就能被训练。这是它比直接 language-conditioned policy 更 scalable 的地方。

Method

方法的机制可以压缩为三件事。

第一，multimodal latent world model。图像和语言 token 被编码到同一个随机 latent state，模型预测下一步 latent，并从 latent 重构图像、语言、reward、continuation。它解决的是语言 grounding 信号不足的问题：即便 reward 没有出现，未来图像/文本重构也能提供密集监督。

第二，token-level temporal alignment。作者不是把整句 instruction 或 manual 编成一个向量，而是让 agent 每个 timestep 接收一个 token，同时继续看图和行动。这个设计解决连续交互中语言与视觉/动作异步对齐的问题，也避免 sentence embedding 成为信息瓶颈。实验中 sentence-level 输入明显差，说明这里不是小实现细节，而是核心归纳偏置之一。

第三，Dreamer-style latent imagination。policy 不直接从真实 rollout 学，而是在 world model 生成的 latent trajectory 上优化 actor-critic。这样语言对行为的影响必须经过 predicted reward/dynamics，而不是直接 shortcut 到 action。这个路径使 declarative language 能转化为可用于规划的 belief 更新。

text-only pretraining 和 language generation 是同一框架的副产品：前者通过只训练语言 latent dynamics 提供初始化，后者把输出 token 当 action。但这两点目前更像 capability demonstration，不是主贡献的决定性部分。

Key Insight / Why It Works

最关键的有效性来源是 representation alignment，而不是更强的语言模型。Dynalang 让语言、视觉和 reward 在同一个 predictive latent space 中相互约束：语言 token 必须对未来 latent 有预测价值，视觉 observation 必须解释语言描述，reward head 让 instruction-like language 进入 return optimization。这种结构迫使模型把“语言是什么意思”翻译成“未来会怎样”。

这比 model-free baseline 好的原因很直接：model-free RL 只有最终 return 来告诉语言是否有用，且语言维度大、语义延迟长、和动作相关性弱，很容易变成噪声。Dynalang 则可以在没有 reward 的情况下通过未来图像/文本训练语言 grounding。HomeGrid 中 future-observation hints 和 dynamics hints 的收益正好说明了这一点。

真正的核心贡献不是 DreamerV3 本身，也不是 T5 embedding，而是把 diverse language 的学习信号从 reward prediction 扩展到 multimodal future prediction。Dreamer 提供了工程底座；token interleaving 是关键设计；text-only pretraining 是自然结果但目前证据较弱。

也要直说，部分增益可能来自 scaling / model capacity / training compute。Dynalang 参数量和训练预算显著大于 baselines，虽然作者做了 baseline scaling 和 auxiliary reconstruction ablation，但仍不能完全排除“大模型 world model + replay ratio + imagination”本身带来的优势。Messenger 上的“multi-hop reasoning”也可能更多是 learned retrieval over manual + entity dynamics，而不是稳健的符号推理。HomeGrid 的模板语言使 grounding 较干净，但也降低了自然语言难度。

Relation To Prior Work

它最接近三条线：Dreamer/RSSM world models、language-conditioned RL/instruction following、text-conditioned video/world models。

相对 Dreamer，新增的信息不是模型结构，而是把文本作为序列观测纳入 latent dynamics，并让未来文本/图像/reward 共同塑造 state。可以看作 DreamerV3 的 multimodal extension，但这个 extension 改变了语言监督路径，因此不是简单拼接。

相对 language-conditioned policy 或 VLN/robot imitation，区别在于 language 不再主要服务于 action decoding，而是服务于 belief/dynamics/reward modeling。prior 通常学 p(a | o, l)，Dynalang 学 p(o_future, l_future, r_future | o,l,a)。这改变了语言的语义角色。

相对 LLM/VLM-agent 方法，Dynalang 的优势是可以在线更新、直接 grounded 到 agent 自己的 sensorimotor stream；劣势是语言能力弱，缺少大规模语义 prior。相对 text-conditioned video planning，Dynalang 不只把 text 当 conditioning signal，还生成/预测文本，并能通过 RL 交互继续改善 world model。

看似新的部分里，model-based RL、latent imagination、next-token/next-latent prediction 都是已有思想；实质创新是把这些组织成一个用于 diverse embodied language 的统一训练目标。

Dataset / Evaluation

评估覆盖面设计得比较聪明：HomeGrid 用可控模板语言拆分 future observation、dynamics、correction；Messenger 测 game manual grounding；VLN-CE 给真实扫描环境和自然 instruction；LangRoom 展示语言输出；text-only pretraining 展示单模态迁移。

这些实验支持核心 claim 的一部分：future prediction objective 确实比直接 policy conditioning 更适合利用非指令语言。尤其 HomeGrid 的 hints 类型分析很对题，能看出 declarative language 通过 world model 产生作用。Messenger 也说明 manual/rule language 适合用 dynamics model 吸收。

但 evaluation 没有完全证明“diverse natural language in the real world”。HomeGrid 是 scripted language，LangRoom 是玩具，Messenger 是封闭 benchmark，VLN 的结果只说明可行但不强。没有真机，没有真实人类交互，没有开放词汇长期对话，也没有在 web-scale multimodal data 上训练。benchmark 更像验证 inductive bias，而不是验证最终 embodied language intelligence。

Limitation

方法成立依赖几个前提。第一，语言必须在可学习 horizon 内对未来 observation/reward 有统计约束；如果语言涉及长期抽象知识、社会意图、隐含目标或无法验证的事实，future prediction 信号会变弱。第二，world model 必须能保留文本信息直到相关视觉/奖励事件出现；GRU/RSSM 对长文档和长 horizon 很可能成为瓶颈。第三，token-per-timestep 虽然优雅，但会把长文本展开成很长序列，控制频率和语言长度之间存在硬冲突。

泛化也要谨慎看。HomeGrid 的提升可能依赖模板覆盖；Messenger 的 manual grounding 可能依赖 benchmark 内分布和实体结构；VLN 没有达到强专门方法，说明框架通用性和实际性能之间还有距离。所谓推理更像 latent association/retrieval，不应过度解读为 compositional reasoning。

增益归因不完全清晰。Dynalang 是 100M-280M 级别模型，baselines 远小，训练 compute 也重；作者尝试放大 baseline 没有改善，但不同算法族之间仍不好归因。text-only pretraining 的效果有趣，但生成样本很弱，说明该模型并没有真正获得强语言建模能力。它把一部分问题从“学 policy”转移到了“学足够好的 multimodal dynamics”，而后者在真实世界中可能更难。

Takeaway

  • 1. 最值得迁移的 insight：对具身 agent 来说，语言 grounding 可以不从 action supervision 学，而从 future prediction 学；这尤其适合状态描述、规则、反馈、知识这类非命令语言。
  • 2. 多模态 world model 是比 language-conditioned policy 更自然的接口：语言先改 belief，再影响 planning/policy。
  • 这条路线比直接把 LLM 当 policy 更适合在线自我改进。
  • 3. temporal alignment 很关键。

一句话总结

Dynalang 是把 Dreamer-style 世界模型扩展为语言-视觉-动作联合预测器的一步，真正贡献在于把 embodied language learning 从“语言到动作”重构为“语言约束未来”的自监督 grounding 范式。