NeurIPS 2023 Workshop ALOE Spotlight / 强化学习/世界模型

Eureka: Human-Level Reward Design via Coding Large Language Models

作者：Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi “Jim” Fan, Anima Anandkumar · 单位：NVIDIA · 会议/期刊：NeurIPS 2023 Workshop ALOE Spotlight · 分类：强化学习/世界模型 · 发布日期：2023

强化学习

精读笔记

Problem Setting

论文标题：Eureka: Human-Level Reward Design via Coding Large Language Models（NeurIPS 2023 Workshop ALOE Spotlight / 2023）。

这篇论文实际处理的是 reward engineering 的自动化，而不是“LLM 学会低层控制”。输入是任务语言描述和环境代码，输出是一个 shaped reward program；随后常规 RL 用这个 reward 训练 policy。真正困难点在于 reward design 是一个双层问题：reward 本身不是目标，目标是“用该 reward 训练出来的 policy 在真实 task metric 上表现好”。这使得 reward 的好坏依赖 RL 算法、超参、探索过程和环境状态表示。

以前路线各自卡在不同位置：人工 reward 依赖专家经验且极易过拟合局部技巧；sparse reward 在高维 dexterity 上通常不可学；IRL / imitation 需要示范且 reward 不一定可解释；L2R 这类语言到 reward 方法依赖模板和手工 API，表达能力被人为限制。EUREKA 的关键矛盾是：reward 需要自由到能表达复杂 shaping，又需要 grounded 到能引用正确变量、能被 PPO 实际优化、能通过有限仿真预算筛掉坏候选。

Motivation

作者真正抓住的缺口是：LLM 已经能写代码、读环境代码、做局部程序修改，但之前多数 embodied LLM 工作把它放在 high-level planning 或 motion primitive selection 上；这对 dexterous manipulation 这类低层连续控制帮助有限。相比之下，reward function 是 LLM 更适合操作的对象：它是代码、可解释、可执行，并且能把人类语义意图转成 RL 可利用的 dense signal。

更重要的观察是，环境源码本身就是最自然的 grounding interface。源码里有 observation construction、state variable 名称、目标变量、动作历史、物体位姿等语义信息；这些比自然语言 task prompt 更接近 reward design 所需的信息。缺的不是“再写一个更详细 prompt”，而是一个闭环：让 LLM 先提出 reward，再用真实 RL training 暴露 reward 的 failure mode，然后让 LLM 在上下文中改写 reward。

Core Idea

核心思想可以概括为：把 reward design 从人工启发式编程，改造成由代码 LLM 先验驱动的 test-time evolutionary program search。LLM 不直接输出 policy，也不直接规划动作，而是在 reward program space 中生成和修改候选；候选的质量由训练出的 policy 在 task fitness 上评估。这相当于把 LLM 当成一个强 proposal distribution / mutation operator，而不是当成一个可靠 oracle。

它引入的 inductive bias 是“程序化 reward 先验”：常见距离项、姿态项、速度项、能耗项、指数 shaping、阈值 gate、component weighting 等 reward engineering pattern 都可以被 LLM 组合出来。和 prior 的本质区别在于它不把 reward 限制在预定义模板或 API primitive 中，而是让 LLM 在环境变量上自由写代码；同时又不相信单次生成，而是用真实 RL evaluation 做选择压力。这使得方法更 scalable 的地方不在于算法理论更强，而在于 reward 搜索空间更大、proposal prior 更好、test-time compute 更充足。

Method

方法上真正必要的机制只有三件。

第一，environment as context。它解决的是 grounding 问题：LLM 必须知道哪些变量存在、变量语义是什么、reward function signature 如何和环境对接。直接喂源码比手写 task-specific prompt 更稳，因为 reward design 所需的信息本来就在环境实现里。核心变化是把环境代码变成 prompt-time state representation。

第二，evolutionary reward search。它解决的是 LLM 单次生成不可靠的问题，包括代码不可执行、尺度错误、遗漏关键变量、reward component 被 PPO 优化不了等。batch sampling 降低语法 / 接口失败概率，迭代 mutation 让系统从“随机猜 reward”变成“在已有可行 reward 附近做局部搜索”。这里的搜索不是梯度优化，而是 LLM 作为 mutation operator 的黑盒优化。

第三，reward reflection。它解决的是 fitness scalar 缺乏 credit assignment 的问题。只告诉 LLM 最终 success rate，很难知道该改哪个 reward term；暴露每个 reward component 在训练过程中的均值、范围、时间趋势，可以让 LLM判断某项是否恒定、尺度是否压制其他项、是否需要重写或重标定。这个机制把 RL optimizer 的学习动态转译成 LLM 可读的文本诊断，是比“LLM 写 reward”更关键的闭环设计。

其余如多次 restart、GPU IsaacGym、PPO 配置，本质上是让黑盒搜索预算足够大；重要但更偏 scaling / engineering。

Key Insight / Why It Works

这篇论文有效的根本原因不是 GPT-4 真的理解了机器人动力学，而是它把三个互补能力拼到了一起：LLM 的代码/语义先验、仿真 RL 的真实评估、进化搜索的 test-time compute。reward design 本来就是一个人类靠反复试错完成的程序搜索问题；EUREKA 用 LLM 替代人类提出候选，用 GPU RL 替代人类观察训练曲线，用 textual reflection 替代人类诊断 reward failure。

最核心贡献我认为是 reward reflection，而不是“环境源码作为上下文”本身。源码上下文让 zero-shot reward 可执行，但不会保证 reward 好；进化搜索让候选数量增加，但没有诊断信号时容易退化成随机采样。reflection 提供了弱 credit assignment，使 LLM 的修改不只是盲目重采样，而是针对 component scale、饱和、无梯度、缺失项做局部修复。

这里大量收益来自 test-time compute 和 simulator scaling。每个 reward 候选都要跑 RL，最终效果依赖 IsaacGym 的并行速度；如果没有便宜 evaluator，这套方法会变成非常昂贵的 AutoRL。也就是说，EUREKA 把人工 reward design 的认知成本转移成 LLM API + GPU RL 搜索成本。

LLM 的“推理”成分需要谨慎看。很多修改模式看起来更像从训练数据中检索 reward engineering cookbook：距离项加 exp，速度项调 temperature，姿态项加 penalty，能耗项 regularization。它的优势是这些 cookbook 在代码上下文中被自动绑定到正确变量，并且通过 evaluation loop 筛选，而不一定是深层动力学推理。

pen spinning 的结果也要拆开看：EUREKA reward 是必要组成，但 curriculum 明显是关键。直接从 scratch 不行，先学 reorientation 再 fine-tune 到 spinning 才行。因此这部分不能解读为 reward 自动设计单独解决了复杂长时序技能；更准确地说，它提供了一个足够好的阶段性 reward，使已有 curriculum / pretraining recipe 能工作。

Relation To Prior Work

它最接近三条谱系：AutoRL / evolutionary reward search、LLM-based program synthesis、language-to-reward / foundation-model reward。和早期 evolutionary reward search 相比，EUREKA 的新意不是进化算法，而是 mutation/search space 从手工参数模板扩展到自由代码程序，并且 mutation operator 由代码 LLM 提供。和 L2R 相比，本质差异是有没有手工 reward API 和模板瓶颈；EUREKA 的 reward space 更开放，因此在高维任务上更可能发现非人工直觉的 shaping。

和 IRL / preference learning 相比，EUREKA 不学习一个隐式 reward model，也不需要示范；它生成白盒 reward code，并通过 policy fitness 验证。和 VLM success detector / language reward 相比，它不是把 foundation model 当 scalar evaluator，而是把 foundation model 当 reward programmer。这个区别很重要：白盒 reward 更容易调试、组合、迁移到 curriculum，也更容易被人类反馈直接修改。

看似新的部分有不少是已有思想重组：environment as context 类似 code-as-policies 的 grounding；reflection 类似 Reflexion / self-debugging；evolutionary search 是老 AutoRL 思路；RLHF via textual feedback 更像 in-context co-design 而不是标准 RLHF。实质创新在于把这些机制组织成一个 reward-design-specific 闭环，并证明在并行仿真 + dexterity benchmark 上能超过人工 reward。

Dataset / Evaluation

评估覆盖 29 个 IsaacGym 风格任务和多种机器人形态，尤其包含 Bi-Dexterous Manipulation 的高维双手任务，这比只在低维 locomotion / toy manipulation 上展示更有说服力。它确实验证了一个核心 claim：在已有开源仿真环境中，给定源码和 task metric，LLM+search 可以自动产生强于人工 shaped reward 的 reward code。

但 evaluation 的边界也很清楚。第一，全部是仿真，没有真机；因此不能证明 reward 在真实动力学、传感噪声、reset 成本和安全约束下可部署。第二，benchmark 都有明确 fitness function，哪怕是 sparse success；EUREKA 依赖这个 F 评估候选 reward。许多真实任务的问题恰恰是 F 不可得或查询昂贵。第三，环境源码结构较规范，变量命名有语义，observation function 可抽取；这对 LLM 非常友好。第四，PPO hyperparameter 使用 benchmark 原配置，某些 reward 的优势可能和固定 optimizer / fixed training recipe 耦合，不能说明 reward 本身普适。

关于 benchmark leakage，作者指出部分环境发布时间晚于 GPT-4 cutoff，但这不能完全排除 reward-shaping pattern 的迁移式记忆。更合理的判断是：不是具体环境泄漏，而是大量通用 RL reward pattern 被模型学到了；这依然是能力来源，但不是严格意义上的任务理解。

Limitation

最根本的前提是必须存在 cheap and reasonably faithful evaluator。EUREKA 每次 reward mutation 都需要训练 policy 或至少部分训练 policy；在 IsaacGym 里这是可行的，在真实机器人或慢仿真里就会崩。它不是减少总计算，而是把 reward design 变成可并行的搜索问题。

第二，方法严重依赖环境代码质量。若源码变量命名弱、observation 是低级传感器流、关键 latent state 不暴露、task success 需要长期历史或人类判断，LLM 的 reward 编程能力会大幅下降。所谓“通用”更准确地说是对规范化 RL benchmark 的通用，而不是对任意 embodied task 的通用。

第三，reward hacking 风险没有被真正解决。EUREKA 优化的是 F(AM(R))，如果 F 本身不完整，LLM 会更高效地找到 exploit。human feedback demo 说明可以修正 gait preference，但样本非常小，且没有系统安全评估。把人类文字反馈放进 reflection 不等于解决 alignment。

第四，增益归因仍不完全清楚。GPT-4 prior、batch size、restart、RL budget、reflection、环境变量可读性、人工 reward baseline 的弱点都可能贡献明显收益。尤其人工 reward 在某些 dexterity benchmark 中可能本来就是研究代码里长期 trial-and-error 的产物而非最优专家设计；EUREKA 超过它说明自动搜索有效，但不等于达到“人类上限”。

第五，curriculum 部分混入了额外结构。pen spinning 的成功依赖人为分解为 reorientation pretraining + spinning fine-tuning；这里 EUREKA 没有自动发现 curriculum。复杂技能的长期结构仍由人设计，reward generation 只是其中一环。

Takeaway

  • 1. 最值得迁移的 insight：LLM 不一定要直接当 agent；放在“可执行程序空间的 proposal / mutation operator”位置，配合真实 evaluator，往往比直接决策更可靠。
  • 2. reward design 可以被看成 program synthesis + black-box optimization，而不是单纯 prompt engineering。
  • 未来更有价值的方向可能是改进 feedback representation、降低 evaluator 成本、引入安全约束和多目标选择，而不是继续堆更大的 prompt。
  • 3. 白盒 reward code 是一个很好的中间表示：既能被 RL optimizer 使用，又能被人类检查和修改，也能进入 curriculum / hierarchical training。

一句话总结

EUREKA 是把人工 reward engineering 重构为“代码 LLM 先验驱动的 test-time evolutionary reward program search”的代表性工作，真正贡献在于用环境源码和 RL 训练反馈闭合 reward 设计循环，而不是让 LLM 直接学会低层控制。