ICML 2023 / 交互式具身学习

Grounding Large Language Models in Interactive Environments with Online Reinforcement Learning

作者：Pierre-Yves Oudeyer · 单位：Inria (Flowers), University of Bordeaux, Sorbonne University, ISIR · 会议/期刊：ICML 2023 · 分类：交互式具身学习 · 发布日期：2023

强化学习交互式学习三维感知

精读笔记

Problem Setting

论文标题：Grounding Large Language Models in Interactive Environments with Online Reinforcement Learning（ICML 2023）。

这篇论文真正解决的问题是：LLM 作为交互环境中的策略时，如何从“静态语言先验”变成“被环境反馈约束的行为策略”。它不是在问 LLM 是否能 zero-shot 规划，也不是在做一般 text-game agent，而是在研究 LLM 内部符号系统能否通过 online RL 与特定环境动力学对齐。

真正困难点在于 LLM 的语言知识和环境的可操作语义之间存在错配：LLM 可能知道“key opens door”，但不知道这个具体环境里 toggle、距离描述、partial observation、reward termination 如何共同定义成功行为。过去方法常把 LLM 放在高层 planner 位置，再靠 affordance model、executor、规则映射或专家轨迹补足 grounding；这绕开了 LLM 自身的更新问题。

关键矛盾是：LLM 有强 prior，但这个 prior 不是为环境控制训练的；RL 能 ground 行为，但从零开始样本效率差。GLAM 试图把两者合并：用 LLM prior 初始化策略，用 online reward 修正其环境语义。

Motivation

已有路线不够的根源是缺少 intervention-driven learning。静态 prompting / planning 只能暴露 LLM 已有知识，不能把失败行动的后果写回模型；BC / offline finetuning 只能模仿数据分布，无法通过主动试错发现哪些语言—动作映射在当前环境里是错的。

作者的核心观察是：functional grounding 不是把词和感知对象配对，而是让符号操作能预测和控制环境过程。因此 grounding 应该由行动后果和奖励信号塑形，而不是只靠文本共现、图像对齐或专家示范。

这也解释了为什么他们选择 textual BabyAI：它故意去掉视觉 perception 的复杂性，把问题压到“语言描述—空间关系—动作后果—任务奖励”的闭环上。缺口很明确：LLM 在交互式 RL setting 中能否作为可训练 policy，而不只是外部 planner。

Core Idea

核心思想是把 LLM 的 token likelihood 直接解释为离散动作策略，并用 online RL 在环境中更新这个策略。给定 goal + observation prompt，对每个候选动作字符串计算条件概率，再 softmax 得到动作分布；环境返回稀疏奖励后，用 PPO 更新 LLM。这样动作不是一个任意 index，而仍是自然语言片段，动作选择过程保留了语言模型原有的语义结构。

这和 prior 的本质差别在于：环境反馈进入了 LLM 参数本身，而不是停留在外部 reranking、prompt loop 或 executor 层。LLM 不再只是提出“听起来合理”的 plan，而是承担 policy 的 credit assignment。理论直觉上，这会比 tabula-rasa RL 更 sample-efficient，因为预训练已提供了空间词、物体词、动作词之间的 latent structure；online RL 只需把这些结构校准到当前环境的具体动力学。

它引入的 inductive bias 是语言空间中的动作先验：例如 go forward、turn left、pick up 不是无结构 action id，而是带有预训练语义的 token sequence。这个 bias 在小样本下很关键，但也意味着泛化强依赖语言表面形式和预训练覆盖。

Method

方法层面可以压缩成几个机制判断。

1. LLM-as-policy：解决的是如何让 LLM 直接参与行动选择，而不是只做 planner。通过对候选动作字符串打分，策略分布继承语言模型头的先验。核心变化是 action semantics 被嵌入策略参数化中，而不是外接一个随机初始化 action head。

2. Online PPO grounding：解决的是 LLM prior 与环境真实动力学不一致的问题。PPO 本身并不新，但在这里它提供了从 reward 到语言模型参数的闭环 credit assignment。必要性在于只有 online trial-and-error 才能修正错误先验和获得反事实反馈。

3. Value head：只是让 PPO 可运行的 critic 结构，科学贡献有限。它承担估值，不改变方法本质。

4. BabyAI-Text：解决的是实验控制问题。它把 BabyAI 的符号/视觉观测转成文本描述，使作者能检验功能性语言 grounding，而不是被感知学习掩盖。这个设计有利于清晰归因，但也显著降低了真实具身复杂度。

5. Lamorel / distributed LLM workers：主要是工程必要性。由于每个动作都要算 likelihood，推理成本成为瓶颈。这个库让实验可做，但不构成核心机制创新。

Key Insight / Why It Works

最重要的 insight 是：LLM 的预训练知识在 RL 中不是直接解决任务，而是改变探索和 credit assignment 的几何结构。随机初始化 agent 看到的是无语义 token 序列和无结构动作 id；GFlan-T5 看到的是已经组织好的语言空间。哪怕它一开始不完全对齐，也更容易把“green ball 3 steps forward”与“go forward”关联起来，把无关动作如 toggle/drop 在导航任务中压低概率。

有效性的核心很可能来自 better inductive bias，而不是 PPO 更强。证据是非预训练 Flan-T5、DRRN、symbolic PPO 都明显落后；而 action head 替换语言建模头后收益变差，说明保留 LM head 的动作语义是关键。换句话说，RL 不是从零学策略，而是在一个语义上已经成形的策略 manifold 上做局部校准。

但这里也要直接指出：所谓 grounding 的范围很有限。模型对 out-of-vocabulary object / invented noun 的鲁棒性较好，可能是因为导航任务只需要忽略物体 identity、保留空间词和目标匹配，不一定说明学到了深层对象概念。对同义动作和法语环境的失败说明 grounding 与训练符号表强绑定；它并没有形成语言无关的环境动力学模型。

部分增益可能来自数据覆盖。Flan-T5 instruction tuning 中包含大量任务描述、空间语言、动作常识，BabyAI-Text 的模板又非常接近自然语言指令格式，因此 benchmark overlap / implicit memorization 不能完全排除。文中未充分说明预训练语料与环境模板之间的潜在重合程度。

真正的贡献不是证明 LLM 会规划，而是证明：把 LLM 作为可微 policy prior，并让环境 reward 直接更新它，可以在受控交互任务中显著提高样本效率。这比“LLM zero-shot planner”更接近可学习 agent，但还远不是通用 embodied reasoning。

Relation To Prior Work

这篇论文处在 language-conditioned RL、text-world agents、LLM planning、RLHF 四条线的交叉处。

相对 SayCan / Inner Monologue / Code-as-Policies，它的实质区别是 LLM 被训练成 policy，而不是只在高层产生计划或由外部 affordance model 修正。SayCan 的 LLM 仍是 frozen prior；GLAM 让 reward 直接塑形 LLM。

相对 BC / expert trajectory finetuning，它强调 online intervention。BC 学到的是专家分布上的动作条件概率，缺少自己犯错后的环境反馈；GLAM 能通过探索和失败修正符号—动作映射。论文中 BC 对比虽规模有限，但方向上是关键差异。

相对传统 text-world RL（如 DRRN），它不是设计一个专用网络去编码文本状态和动作，而是复用 LLM 的预训练表示和语言建模头。这属于 foundation model as policy prior 的谱系。

相对 RLHF，它共享 PPO finetuning 形式，但外部环境完全不同：RLHF 的状态转移基本是 token append，reward 来自人类偏好模型；GLAM 的转移由未知环境动力学决定，reward 是任务完成信号。因此它更接近真正的 embodied / interactive RL，而不是语言生成优化。

看似新的部分如 PPO、value head、prompt 拼接都不是新；实质创新是把 LLM 的 next-token likelihood 重新解释为可训练的环境动作策略，并通过 online RL 实现 functional grounding。

Dataset / Evaluation

评估主要基于作者构造的 BabyAI-Text：这是一个文本化的 BabyAI gridworld，动作空间固定且很小，观察由模板生成，任务包括导航、拾取、放置、时序组合、开门等。它覆盖了受控空间语言和简单交互任务，但不是开放文本世界，也不是真实 3D / 机器人环境。

实验支持“在线 RL grounding 提升样本效率”这个核心 claim，尤其在多任务训练、非预训练 baseline、symbolic PPO、BC 对比下较有说服力。它也部分支持“对新物体词泛化”，但这个泛化更多是对象名替换下的鲁棒性，不等于跨场景泛化。

对新任务的泛化证据较弱。组合任务成功率低，同义动作替换大幅下降，法语迁移失败。这些结果反而揭示：模型学到的是环境模板内的 functional alignment，而不是系统性 compositional planning。

benchmark 的主要 limitation 是过于干净：文本描述由固定模板生成，动作集合显式给出，环境大小和交互复杂度有限。它适合验证机制存在性，不足以证明方法能扩展到真实具身感知、长程任务、开放动作空间或多模态 grounding。

Limitation

方法成立依赖几个强前提。第一，动作空间必须可枚举且较小，因为每个候选动作都要用 LLM 打分；一旦进入开放文本命令、机器人连续控制或大技能库，成本会线性爆炸。作者用分布式 worker 缓解，但这是工程补丁，不改变复杂度本质。

第二，环境观察必须能被语言模板充分表达。BabyAI-Text 避开了视觉 grounding，因而结论主要关于 textual functional grounding，不能自然外推到三维感知或真实机器人。

第三，泛化依赖预训练语言空间和训练模板的兼容性。换同义动作和法语失败说明模型没有把 grounding 抽象到稳定的 latent dynamics；它更像把特定英文符号和具体环境后果绑定起来。

第四，推理/规划能力可能是假象。GoTo/PickUp 的成功可以由局部空间启发式和语言 prior 解释；OpenDoor、then/after 等需要更强组合和长期依赖的任务表现明显弱。planner 实际没有形成可靠长期状态建模。

第五，增益归因仍不完全清楚。预训练规模、instruction tuning 数据覆盖、动作字符串 likelihood、PPO online feedback 都在起作用；论文有 ablation，但仍难精确分离“语言知识”“参数规模”“模板 overlap”“RL credit assignment”的贡献。

最后，online finetuning 整个 LLM 可能带来遗忘和跨环境 plasticity 问题，论文只在单环境内研究，没有回答 grounding 一个环境后是否损害其他能力。

Takeaway

  • 1. 最值得记住的是：LLM 在 RL 中的价值不只是 zero-shot planner，而是一个强 policy prior；如果 reward 能直接更新这个 prior，样本效率会大幅改善。
  • 2. functional grounding 应该被理解为“符号操作被环境后果约束”，而不是词和物体的静态对应。
  • GLAM 把这个观点落到了一个最小可运行系统上。
  • 3. 迁移价值在于动作参数化：让动作保留自然语言结构，而不是退化成无语义 action id，这对小样本 RL 很有启发。

一句话总结

这篇论文是从“LLM 作为静态 planner”走向“LLM 作为可被环境奖励在线塑形的策略先验”的早期代表，真正贡献在于把语言预训练结构接入 RL 的 functional grounding 闭环，而不是提出新的 RL 算法。