ICLR 2024 Conference Withdrawn Submission / 强化学习/世界模型

RLAdapter: Bridging Large Language Models to Reinforcement Learning in Open Worlds

作者：Wanpeng Zhang, Zongqing Lu · 会议/期刊：ICLR 2024 Conference Withdrawn Submission · 分类：强化学习/世界模型 · 发布日期：2023

强化学习

精读笔记

Problem Setting

论文标题：RLAdapter: Bridging Large Language Models to Reinforcement Learning in Open Worlds（ICLR 2024 Conference Withdrawn Submission / 2023）。

这篇论文真正解决的不是“如何让 LLM 玩 Crafter”，而是开放世界 RL 中一个更窄但重要的问题：LLM 产生的语言指导如何随着 RL agent 的学习过程自适应变化。开放世界任务里 reward sparse、目标并行、horizon 长，纯 RL 容易在低层探索中浪费样本；LLM 有常识和任务分解能力，但它不知道当前 policy 会什么、不会什么，也不知道自己的建议是否被 agent 的观测-动作系统正确 ground。

关键矛盾是：LLM 的知识是高层、语言化、静态的；RL agent 的学习是低层、交互式、分布不断漂移的。以前的 LLM-assisted RL 多数把 LLM 当固定 oracle：给 sub-goal、给 intrinsic reward、给 plan 或直接给 action。这在简单任务或强 symbolic setting 下可行，但在 Crafter 这种需要长期积累技能的环境里，LLM 很容易给出“正确但不可学”的建议。本文的实际切入点就是把这种 teacher-student mismatch 显式建模出来。

Motivation

已有路线的问题不是 LLM 不够强，而是 LLM 没有被正确条件化。直接 prompt GPT-4 得到的 sub-goal 可能符合人类常识，但不一定匹配当前 agent 的能力边界；fine-tune 大 LLM 又受限于权重不可访问、成本高、泛化下降。作者的核心观察是：如果不能修改 teacher，那就训练一个中间层去告诉 teacher 当前 student 的状态。

这个中间层需要补上的缺口包括：当前环境有什么、agent 最近做了什么、过去 LLM 建议过什么、agent 是否表现出理解这些建议。也就是说，缺的不是一个更强 planner，而是一个动态的 communication protocol。RLAdapter 的动机可以理解为：让小模型学习如何向大模型提问，而不是让大模型直接控制 RL。

Core Idea

核心思想是把 LLM guidance 从单向信息流改成闭环反馈系统。传统方式是 Env/Agent 信息直接进入 LLM，LLM 输出 sub-goal；RLAdapter 在中间加一个可训练 adapter，adapter 根据 replay buffer 和 understanding score 生成对 LLM 的“分析性提示”，再由 LLM 输出更适合当前 agent 的 sub-goal。它改变的是建模对象：不再只建模环境目标，而是同时建模 learner 的理解能力。

直觉上这可能有效，因为开放世界探索的难点不是缺少最终目标，而是缺少阶段化、可执行、与当前能力匹配的目标。Adapter 引入了一个 curriculum-like inductive bias：当 agent 对过去 sub-goal 的行为对齐低时，提示 LLM 给更具体、更低层的建议；当对齐较高时，可以推进到更高层目标。本质区别在于 prior work 多把 LLM 当静态 prior，而 RLAdapter 把 LLM 放进一个随训练状态更新的 prompt-control loop 中。这比直接 fine-tune LLM 更 scalable，因为大模型保持黑盒，适配压力转移给轻量模型。

Method

方法中真正重要的机制有四个。

第一，adapter 作为 learner-state summarizer。它不是为了替代 GPT-4，而是把 replay buffer 中杂乱的历史信息和 agent 近期表现压缩成 LLM 可消费的上下文。它解决的是 LLM 不知道当前 policy 能力的问题，核心变化是让 LLM 的输出条件化于训练进度。

第二，understanding score。论文用 sub-goal 文本 embedding 与轨迹文本 embedding 的 cosine similarity 表示 agent 对语言指导的理解程度。这个设计很粗，但它提供了一个廉价反馈信号，使 adapter 至少能区分“agent 行为是否语义上接近建议”。它解决的是完全无反馈 prompt 的问题，但并不等价于真正的 causal grounding。

第三，adapter 在线 SFT。训练过程中，adapter 根据新的 replay 和 understanding score 形成 SFT 数据，不断学习如何生成更合适的中间分析。这相当于把 prompt engineering 变成一个随 RL 训练更新的模型，而不是手写静态模板。

第四，LLM 输出 sub-goal 后通过 embedding 输入 policy。这里 LLM 不直接控制动作，而是改变 policy 的条件变量。这个选择降低了 LLM action-level hallucination 的影响，也使语言 guidance 更像 representation / curriculum signal，而不是硬规划器。

PPO、LLaMA2-7B QLoRA、量化、query interval、ROUGE-L 过滤等都是合理工程实现，但不是本文的机制核心。

Key Insight / Why It Works

这篇文章最有价值的 insight 是：LLM-assisted RL 的瓶颈往往不是 LLM 缺知识，而是缺少关于 agent 学习状态的反馈通道。RLAdapter 的有效性很可能来自三类因素叠加。

第一，是 curriculum。Adapter 根据 understanding score 调整给 LLM 的 prompt，使 LLM 更倾向于生成当前 agent 能执行的子目标。这个机制比直接给高层目标更适合 sparse-reward RL，因为它改变了探索分布。

第二，是 representation alignment。语言 sub-goal embedding 被拼到 observation 上，policy 学到的是在不同语义目标条件下行动。即使 sub-goal 不完美，它也可能作为结构化上下文减少策略学习的混乱度。

第三，是 test-time / train-time compute 的外部化。系统周期性调用 GPT-4/GPT-3.5 和 adapter，相当于把部分搜索、总结、任务分解能力外包给预训练模型。这里不能排除增益主要来自大模型 prior 与额外语言计算，而不是 RL 算法本身改进。

最可能的核心贡献是 adapter-mediated feedback loop，而不是具体的 LLaMA2 fine-tuning recipe。它把“prompt LLM”变成了“learn to prompt LLM”。这点有迁移价值。

但也要直接指出：understanding score 的语义相似度非常弱，可能只是一个 noisy progress heuristic。所谓 agent 出现 common-sense behavior，如躲避怪物、在资源丰富处放工作台，可能来自 LLM/Crafter 规则先验和训练分布耦合，不应过度解读为长期推理。高难成就全为 0 也说明该系统并没有形成强 compositional planning。增益来源不清：可能同时来自 better prompt、更多上下文、在线数据积累、LLM scaling、以及条件 policy 表示。

Relation To Prior Work

最接近的谱系是 LLM-assisted RL / language-conditioned RL / intrinsic reward via LM。和 LMPriors、ELLM 这类方法相比，RLAdapter 的区别不是使用 LLM 给 guidance，而是引入一个可训练中介来建模 agent 对 guidance 的吸收情况。和 SPRING 这类强 LLM 决策或通过读论文获得策略的路线相比，RLAdapter 更像把 LLM 当高层 teacher，而低层技能仍由 RL 学出来。

看似新的部分中，有不少是已有思想重组：adapter fine-tuning、prompt rewriting、curriculum、language-conditioned policy、teacher-student feedback 都不是新概念。实质创新在于把这些组合成一个在线闭环：RL trajectory → learner understanding estimate → adapter prompt → LLM sub-goal → policy update。这个信息流组织是本文最值得记住的地方。

它不属于纯 world model 方法，也不是纯 planner；更准确地说，它是 language-mediated adaptive curriculum for RL。相比 model-based RL，它没有学习显式 dynamics；相比 LLM planner，它没有真正维护长期 symbolic state；相比 intrinsic motivation，它用 LLM prior 过滤“值得探索”的方向。

Dataset / Evaluation

评估集中在 Crafter，一个合适但有限的开放世界 benchmark。Crafter 有稀疏 achievement、多技能层级、生存压力和局部观测，确实能测试语言 guidance 是否能改善探索与技能学习。但它仍是单一模拟环境，且高度 symbolic：游戏对象、动作集合、achievement 结构都容易被语言模型先验覆盖。没有跨环境、真实机器人或视觉 grounding 的验证。

实验支持的 claim 是：在 Crafter 中，adapter 闭环比直接 LLM guidance 更有效；尤其无 adapter ablation 掉得明显，这说明中间反馈层有实际作用。但实验不足以支持“open worlds”层面的广泛泛化。和 SPRING、DreamerV3 的比较也有可比性问题：训练步数、是否使用专家/论文知识、LLM 调用预算、实现细节并不完全统一。

论文展示了 common-sense behavior case，但这些是 anecdotal evidence，不是系统性行为评估。更重要的是，最难的 achievements 仍未解决，说明方法主要改善中低层技能探索，而不是突破长时序组合规划。

Limitation

最大限制是方法把 grounding 问题部分转移给了 adapter 和文本相似度，而没有真正解决。Agent 是否理解 sub-goal 被 SentenceBERT 相似度近似，这在 Crafter 这种可以把动作/观测转成文本的环境中尚可，但在连续控制、视觉机器人、真实交互中会很脆弱。

第二，泛化依赖不清。Adapter 在线 SFT 使用当前环境产生的数据，性能提升可能来自环境特定适配，而不是可迁移的通用桥接机制。换环境后 adapter 是否能少样本迁移，文中未充分说明。

第三，能力上限明显。高难层级成就失败说明系统缺少可靠的长期状态建模、技能组合和 credit assignment。LLM 给 sub-goal 并不会自动产生可执行技能库；RL 仍要通过稀疏交互学习。

第四，增益归因不干净。GPT-4/GPT-3.5、LLaMA2 adapter、在线 SFT、额外 prompt 上下文、语言 embedding conditioning 同时存在。没有足够消融回答到底是 learner feedback 重要，还是 simply better prompt / more compute / more data。

第五，所谓 common sense 可能是 retrieval-like prior，不是 emergent reasoning。Crafter 类 Minecraft 规则在预训练语料中高度常见，LLM 很可能已经知道“夜晚躲怪”“资源附近造工作台”这类策略。这里存在 implicit memorization / benchmark overlap 的风险。

Takeaway

  • 1. 对 LLM+RL 来说，关键不是让 LLM 更强，而是让 LLM 知道 agent 当前学到了什么；learner-state-aware prompting 可能比静态 prompting 更重要。
  • 2. Adapter 的真正价值在于学习 communication protocol：小模型负责把交互历史和失败模式翻译成大模型可用上下文，大模型负责提供常识与分解。
  • 这种分工可以迁移到机器人、工具使用、多智能体训练等场景。
  • 3. 这篇论文推动的是“动态语言课程”而非“LLM 规划器”。

一句话总结

RLAdapter 是一篇把 LLM-assisted RL 从静态语言先验推进到“带学习反馈的自适应 prompt/curriculum”方向的工作，真正贡献在于 adapter-mediated feedback loop，而不是具体的 PPO 或 LLM 调用实现。