TAFM@RLC 2024 / 强化学习/世界模型

Language Reward Modulation for Pretraining Reinforcement Learning

作者：Ademi Adeniji, Amber Xie, Carmelo Sferrazza, Younggyo Seo, Stephen James, Pieter Abbeel · 会议/期刊：TAFM@RLC 2024 · 分类：强化学习/世界模型 · 发布日期：2023

强化学习预训练

精读笔记

Problem Setting

《Language Reward Modulation for Pretraining Reinforcement Learning》（TAFM@RLC 2024 / 2023）关注的是稀疏奖励机器人操作中，如何利用 learned reward / VLM reward 帮助 RL，但它实际避开了最难的“让 VLM reward 成为可靠任务奖励”问题，转而解决“如何把不可靠 reward 用在预训练中仍然产生正迁移”。

真正困难点不是 reward extraction 本身，而是 reward 信号的使用位置。VLM alignment score 对图像-语言语义有弱相关，但在控制过程中通常非单调、噪声大、对视角/背景/物体状态敏感，直接优化会导致 policy exploit reward artifact。以前方法卡在两个极端：直接用 VLM/LRF 当 task reward 不稳定；纯无监督探索如 Plan2Explore 有覆盖率但缺少任务相关性，可能把样本浪费在语义无关的新奇状态上。

这篇论文抓住的关键矛盾是：预训练需要的是“广覆盖但不要完全无方向”的行为库，而不是精确任务完成信号。VLM reward 不够精确，因此不适合作为最终目标；但它足够便宜、可 prompt 化、语义上有偏，因此适合作为探索 prior。

Motivation

已有路线不够的原因很明确：手工 reward 不 scalable，IRL 需要 demonstrations 且 reward misspecification 严重，VLM reward 作为 downstream reward 又过于脆弱。作者的核心观察是，LRF/VLM reward 的失败不一定说明它没有价值，而可能说明它被放在了错误的训练阶段。

预训练阶段天然容忍噪声：目标不是学会一个精确 task expert，而是让 agent 形成一批可迁移的感知、动力学和交互行为。此时 reward 只需要把探索从“随机覆盖状态空间”推向“语义上像人类操作的状态变化”。VLM 的可 prompt 性正好提供了一种低成本生成多 reward 的方式。

关键缺口是：如何把大模型中的语义先验注入 RL 预训练，而不是要求它直接承担 RL reward specification 的全部责任。LAMP 的出发点就是把 VLM 从 judge 降级为 bias generator。

Core Idea

核心思想可以概括为：不要相信 VLM reward 能精确告诉 agent 是否完成任务，但可以相信它在大量 prompt 和大量场景平均后，能把探索分布轻微推向语义有意义的 affordance。LAMP 用冻结 R3M/VLM 根据图像观测和语言 prompt 生成 reward；每个 episode 随机采样一个语言 prompt，把 agent 训练成 language-conditioned policy。这样预训练不再是单一无监督目标，而是一个由语言调制的弱多任务 RL。

本质区别在于建模方式变了：prior work 把 VLM reward 当作 downstream objective，要求 reward 准确、稳定、可优化；LAMP 把 VLM reward 当作 pretraining distribution shaping，允许它 noisy，只要求它在统计意义上比无语义探索更偏向可用行为。这是一个风险转移：把 reward misspecification 的后果限制在预训练阶段，然后下游用真实/脚本 reward 校正。

它引入的 inductive bias 是 semantic affordance bias：novelty reward 负责扩大覆盖，language-modulated VLM reward 负责把覆盖集中到“看起来像 pick / move / reach / manipulate”的视觉变化。scalability 来自 prompt space，而不是人工枚举任务 reward；generalization 来自 VLM 预训练数据和预训练环境多样性，但这也是其上限所在。

Method

方法层面真正重要的机制只有几个。

第一，R3M score 被用作 progress-like reward。相比静态图文相似度，R3M 训练时包含视频-语言对齐，score 形式依赖初始帧、当前帧和语言，因此更像是在估计“从初始状态到当前状态是否符合语言描述的行为进展”。这解决的是 reward shaping 的时间性问题。但文中也显示该信号仍然高度 noisy，并不适合直接当最终任务 reward。

第二，prompt diversity 是 reward distribution 的来源。LAMP 不为一个任务写一个 reward，而是通过 action-relevant prompt、同义词、不同语态、人类/机器人视角描述等生成一族弱目标。它带来的核心变化是：预训练 policy 看到的不是单一行为诱导，而是多种语言条件下的行为探索，从而降低对某个 prompt artifact 的过拟合。

第三，Plan2Explore 与 VLM reward 混合。novelty 提供状态覆盖，VLM reward 提供语义过滤。没有 novelty，VLM reward 可能覆盖不足或陷入 reward artifact；没有 VLM，novelty 可能高效探索无用状态。二者组合的合理性在于把 exploration 的 recall 和 precision 分开处理。

第四，下游只使用语言作为 policy selector / conditioning，不再使用 VLM reward。fine-tuning 用 simulator shaped reward，这一点非常关键：论文证明的是 VLM reward 对预训练有帮助，而不是证明 VLM reward 能可靠解决下游任务。

Key Insight / Why It Works

最值得记住的 insight 是：noisy semantic reward 在 pretraining 中的价值远高于在 task solving 中的价值。直接优化 VLM reward 需要 reward 准确到能定义最优策略；预训练只需要 reward 足够改变访问分布，让 agent 更常接触物体、移动物体、靠近可操作区域。这降低了对 reward correctness 的要求。

我认为真正有效的部分是“semantic exploration bias + data coverage”，而不是某个精巧算法。R3M/Ego4D 提供了人类交互视频中的语义表征，ShapeNet/Ego4D texture/domain randomization 提供视觉多样性，Plan2Explore 提供覆盖率，MWM 提供 sample-efficient world-model learning。LAMP 的贡献是把这些能力通过 language-conditioned reward 组织起来。

它更像是 better inductive bias 和 scaling/data coverage 的组合，而不是新的 RL optimization principle。语言 prompt 在这里不是推理，也不是 planning，更接近一个 reward-indexing mechanism：通过文本从 VLM 表征空间中检索一类视觉变化偏好。所谓 language-conditioned policy 的泛化也更可能是对预训练行为 manifold 的选择，而非组合式语言理解。

VLM reward 的作用可能很弱但方向正确。论文中 alpha 较大时效果较好，说明 novelty reward 仍是主体，VLM reward 是偏置项。这不是缺点，反而是方法成立的原因：让不可靠信号只承担小权重的 shaping，而不承担完整控制目标。

prompt ablation 很说明问题：action-relevant prompt 最好，Shakespeare 这类 OOD prompt 在加入 Plan2Explore 后反而变差。这说明 LAMP 不是“任意语言都能带来 diversity”，而是需要语言和环境 affordance 有真实语义耦合。换言之，收益不是来自随机 reward 多样性，而是来自 VLM 中已有的 action-object alignment。

Relation To Prior Work

最接近的路线有三类：VLM-as-reward、unsupervised RL pretraining / exploration、skill discovery / option learning。

和 VLM-as-reward 的本质差异是使用阶段不同。Cui/ZeST、Fan 等工作希望 VLM reward 直接定义下游任务；LAMP 明确承认这个信号不可靠，因此把它改造成预训练探索 reward。这是实质差异，也是论文最有价值的 framing。

和 Plan2Explore / RND / curiosity 的差异是探索目标不同。纯无监督探索优化 novelty，语义盲；LAMP 在 novelty 上叠加 VLM semantic prior，让探索更接近人类定义任务的 affordance。这里不是替代 exploration，而是给 exploration 加语义滤波。

和 skill discovery 的关系是：它同样想预训练可迁移技能，但 skill index 不再是离散 latent 或 mutual information objective，而是自然语言 embedding。看似新颖的部分有不少是已有思想重组：language-conditioned multi-task RL、VLM reward、novelty exploration、world model pretraining 都不是新的；实质创新在于把 VLM reward 从目标函数降级为预训练阶段的弱监督，并系统验证这种位置变化比直接任务 reward 更合理。

Dataset / Evaluation

评估集中在 RLBench tabletop manipulation，预训练环境用 RLBench 框架加 ShapeNet 物体和 Ego4D texture 随机化，下游任务来自未见过的 RLBench tasks。它验证的是近域、多任务、模拟环境中的 sample-efficiency warm start，而不是真实机器人泛化。

任务覆盖有一定多样性，但 action space 被简化：固定末端旋转，只做 4D action，选择的是无需改变 end-effector orientation 的任务。这会降低 manipulation 难度，也限制 claim 的外推。下游使用 simulator state shaped reward，而非稀疏真实 reward，这使得 fine-tuning 更稳定，但也意味着论文没有证明它能解决最困难的 sparse-reward deployment setting。

benchmark 支持“VLM reward pretraining can help”这个 claim，但不充分支持更强的“general-purpose semantic pretraining” claim。由于预训练使用 Ego4D texture、ShapeNet objects、R3M 也来自 Ego4D，真实增益可能部分来自视觉域对齐和数据覆盖。文中未充分说明是否存在与 RLBench 任务语义的间接 overlap，也没有真机实验来验证 sim-to-real。

实验中对 Plan2Explore、scratch、VLM choice、prompt style、reward weight 做了有用 ablation，但增益归因仍不彻底。尤其是 MWM 表示预训练、domain randomization、多 prompt、多 object affordance、R3M prior 各自贡献没有被完全拆开。

Limitation

最大限制是方法把 reward specification 问题转移到了 pretraining distribution design 和 VLM data coverage 上。它不需要下游 VLM reward 准确，但需要 VLM 在预训练域中能产生足够相关的语义偏置；如果 VLM 没见过对应物体、动作、视角或机器人形态，reward 可能退化为噪声甚至负迁移。

泛化并不是无条件的。LAMP 的成功依赖预训练环境覆盖下游所需 affordance。若下游需要精细接触、工具使用、长时序组合、隐藏状态推理、多阶段规划，当前方法没有机制保证 transfer。language conditioning 更像行为检索键，不是 planner；文中没有展示多 prompt sequencing 或 compositional language control。

scalability 上，VLM inference 贯穿预训练，尤其换成更大 VLM 时会成为明显瓶颈。更重要的是，prompt 数量可以 scaling，但 prompt quality 仍然关键；OOD 或不相关语言会破坏探索效率。这说明“无限语言 reward”不是免费午餐。

增益来源不清。LAMP 可能主要受益于：大量 randomized pretraining、R3M 表征、MWM world model、Plan2Explore coverage，以及下游 shaped reward 的稳定 fine-tuning。VLM language modulation 是重要偏置，但是否是主因，文中证据还不够强。

真实部署鸿沟也很大。没有真机，没有稀疏真实任务 reward，没有复杂动力学和安全约束。当前结果更像是证明一个合理的预训练范式，而不是证明可直接部署的机器人学习系统。

Takeaway

  • 1. VLM reward 最合理的使用位置可能不是 downstream reward，而是 pretraining-time exploration prior。
  • 这个 framing 很重要，能避免把 noisy learned reward 过度神化。
  • 2. 语义探索的关键不是让大模型精确打分，而是让探索分布偏向 affordance-rich regions。
  • 小权重、弱监督、统计平均后的 VLM signal 可能比单任务强监督更可靠。

一句话总结

LAMP 是一篇把 VLM reward 从“不可靠的任务监督”重新定位为“可扩展的语义探索偏置”的 RL 预训练工作，实质贡献在于改变 learned reward 的使用阶段和风险承担方式，而不是提出新的 RL 优化算法。