精读笔记

Problem Setting

这篇论文真正处理的是机器人强化学习里的 reward specification bottleneck：奖励既要 dense enough 以便 RL 优化，又要 aligned enough 避免策略钻 reward 空子。困难点在于这两个目标天然冲突：越手工/代码化的 reward 越可优化、越稳定，但越容易遗漏隐含偏好；越依赖偏好学习/VLM 的 reward 越接近人类判断，但反馈稀疏、噪声大、credit assignment 差，RL 训练容易漂。以前方法大多卡在单一奖励范式：LLM 生成 reward code 本质上是在自动化 reward engineering，容易在复杂接触和动作质量上写错；PbRL/VLM reward learning 则试图从视觉偏好中学完整 reward，但样本效率和稳定性不够。关键矛盾是：任务中有一部分结构是明确、低维、可编码的，另一部分偏好是视觉化、隐含、难以形式化的；把两者都交给同一种 reward 机制是不经济的。

Motivation

作者的核心动机不是“用 VLM 替代人类标注”这么简单，而是认为现有奖励学习路线缺少分工。LLM reward code 可以给 RL 一个很强的 shaping prior，但这种 prior 往往对 task completion 过拟合，例如 Hammer 中击中钉子但用锤柄击打也可能被形式奖励接受。VLM preference 能看到这种行为质量差异，但如果让它直接提供 reward 或学习完整 reward，又会遇到视觉噪声、标签低效和状态级信用分配问题。关键缺口是：如何把可形式化的 task knowledge 保留下来，同时让视觉偏好只负责补那些形式奖励无法表达或容易错配的部分。CoRe 的动机可以理解为：不要用 foundation model 直接替代 reward designer，而是让 foundation model 分别承担 reward proposal、reward validation 和 residual correction。

Core Idea

核心思想是把 reward 建模从“寻找一个完整奖励函数”改成“组合一个结构化基底和一个偏好残差”。Formal Reward 是对任务显式结构的编码，提供低噪声、可优化、dense 的梯度；Residual Reward 是从视频偏好中学习的 correction term，专门捕捉动作方式、视觉进展、隐含人类偏好等难以写进代码的部分。这个分解引入了很强的 inductive bias：不是所有 reward 都应该由神经网络从偏好中学，也不是所有偏好都能由 LLM reward code 写出来。

更本质的变化在于信息流重组。Prior 的 LLM reward search 通常用 task completion 或 episode return 选择候选 reward，这会鼓励 reward exploitation；CoRe 用 VLM preference dataset 来选择 reward candidate，相当于在 reward search 阶段加入 alignment filter。VLM 不再只是 noisy scorer，而是 reward candidate 的判别器和 residual reward 的监督源。直觉上它更 scalable 的原因是：FR 降低探索和优化难度，RR 降低 reward misspecification，二者让 VLM label 不必单独承担完整任务建模。

Method

方法的关键机制不是 FRM/RRM 两个模块本身，而是它们各自承担的误差类型不同。FRM 解决的是 RL 初期缺少可优化信号的问题：LLM 根据任务描述和状态定义生成若干 code reward，但候选选择不用训练完整策略后的 task completion，而用已有偏好数据评估候选 reward 对 trajectory pair 的 ranking accuracy。这样 reward search 从“哪个 reward 让 benchmark score 高”变成“哪个 reward 的偏好排序更像人类/VLM 判断”，核心变化是减少 reward hacking 和候选验证成本。

RRM 解决的是 formal reward 表达力不足的问题。它从视频级 segment preference 学 image-based reward，并让 VLM 同时输出每帧 task progress / importance，用 KL 约束 reward 在时间上的分布。这里视频级偏好比单帧偏好重要，因为很多 manipulation 质量只能从动态变化看出来；importance prior 则是为了解决 preference label 只告诉 segment A>B、却不告诉哪一帧贡献 reward 的 credit assignment 问题。

两者组合后，FR 给 RRM 提供更好的 exploration distribution 和更稳定的 replay data，RRM 给 FR 补上视觉偏好和隐含动作质量。总奖励相加看似简单，但机制上是把 reward learning 的方差和 bias 分给两个不同来源：FR 低方差高 bias，RR 高表达但高方差，组合后试图取得更好的 bias-variance trade-off。

Key Insight / Why It Works

最可能真正有效的部分是 reward decomposition，而不是单独使用 LLM/VLM。CoRe 的增益不像来自更强 foundation model scaling，因为附录中更强模型对单独 FRM/RRM 的提升有限，而组合方法大幅更好。这说明核心不是“问更聪明的模型”，而是 better inductive bias：把显式几何/状态结构和隐式视觉偏好分离建模。

第二个关键点是 preference-gated reward search。LLM reward code 的危险在于它会生成看似合理但目标错配的 dense reward；如果用 task success 选择 reward，reward hacking 甚至会被放大。用偏好 ranking accuracy 选择 formal reward，本质上是给 code reward 加了一个 alignment validation loop。这比让 VLM 直接输出 dense reward 更稳，因为 VLM 只做 pairwise 判断和候选筛选，不需要提供精确连续奖励。

第三个有效点是视频级反馈带来的 representation alignment。单帧 VLM preference 在 manipulation 中经常看不到动作因果和进展，视频比较至少提供了局部时间结构；frame importance 又把粗粒度 segment label 转换成近似的 state-level reward prior。这不是严格的长期 credit assignment，但在短 horizon manipulation benchmark 上足够有效。

需要直接指出：这里的“推理”很大程度上不是 planner 形成了长期状态建模，而是 VLM 基于视觉相似度、任务进展模板和常识做局部排序；所谓 human alignment 也主要是 VLM alignment，而非真实人类偏好闭环。CoRe 的成功更像是结构 reward scaffold + VLM weak supervision + replay relabeling 的工程组合，其中核心贡献是组合方式和误差分解，prompt、模型选择、透明机器人渲染等则可能贡献了不小的 engineering gain。

Relation To Prior Work

CoRe 位于三条技术谱系的交叉处：LLM reward code generation、preference-based RL、VLM feedback for robotics。和 Eureka/Text2Reward 相比，它不是只让 LLM 自动写 reward，而是用偏好数据约束 reward candidate selection，并承认 code reward 只应覆盖 formalizable part。和 RL-VLM-F / PrefVLM / ERL-VLM 相比，它不是从 VLM feedback 学完整 reward，而是只学 residual，并用 formal reward 改善探索和训练稳定性。

很多元素并非全新：LLM 写 reward、VLM 做 preference label、segment preference cross entropy、importance/credit assignment prior、replay relabeling 都有前史。实质创新在于把这些元素组织成一个 reward decomposition pipeline，并让 VLM 同时服务于 formal reward alignment 和 residual reward learning。真正新增的信息是：在机器人 manipulation 中，显式结构 reward 与视觉偏好 reward 的互补性比单一路线 scaling 更重要。

Dataset / Evaluation

评估覆盖 7 个 MetaWorld、3 个 SoftGym 和 5 个真实 UR5 任务，任务类型从刚体、关节到形变物体，基本能支撑“组合奖励在多类 manipulation task 上更稳”的 claim。真机部分是加分项，尤其直接 sim-to-real 部署说明 reward 学到的策略在一定噪声下不是纯 benchmark overfit。

但 evaluation 也有明显限制。首先，训练 reward model 时做了强视觉清理：机器人/夹爪透明化、相机聚焦 task-relevant objects，这显著降低了 VLM perception 难度，也让“无人工介入”的说法需要打折。其次，任务仍主要是短到中等 horizon、目标视觉可见、progress 可由图像相似性估计的 manipulation；它没有验证复杂组合任务、遮挡、不可见状态、力控偏好或语言中多约束目标。第三，消融虽显示 FR/RR 互补，但没有完全拆开 prompt design、video vs image、importance KL、query schedule、buffer relabeling 等因素，因此增益来源不清。

Limitation

CoRe 的核心前提是任务偏好能被 VLM 从 start/goal image 和短视频中稳定判断出来；如果偏好依赖触觉、力、隐藏状态、长期后果或安全约束，RRM 的视觉 residual 会失效或学到伪相关。VLM 视频偏好正确率本身并不高，文中报告的正确率只有中等水平，因此方法高度依赖 FRM scaffold、过滤 incomparables、任务视觉进展明显以及大量 replay relabeling 来吸收噪声。

scalability 上限也很清楚：每个任务仍要提供任务描述、状态/动作定义、start/goal image，并进行迭代 LLM/VLM 查询。它减少的是人工 reward engineering，不是消除 reward specification；只是把 specification 转移到 prompt、视觉示例、VLM 能力和候选验证上。开放世界中，VLM bias、相机视角、object distribution shift 会直接进入 reward。

泛化 claim 需要谨慎。文中展示的是跨任务类别的 empirical robustness，不等于学到了可组合的长期 planning 或通用偏好模型。所谓 residual reward 可能主要学习 benchmark-specific visual progress，而不是抽象人类意图。真实世界实验虽有价值，但仍是和仿真高度对齐的受控任务，不足以说明复杂环境部署能力。

另一个问题是 FR 与 RR 的冲突没有被理论化。两个 reward 简单相加并 clipping，如果 formal reward 和 residual reward 在某些状态上给出相反信号，系统如何仲裁文中未充分说明。FR/RR 权重、尺度和更新频率可能对结果很敏感，但论文主要以经验 recipe 处理。

Takeaway

• 第一，机器人 RL 奖励学习里值得迁移的 insight 是显式 reward decomposition：让可写的结构先验和不可写的偏好残差分工，而不是押注一个端到端 reward model。
• 第二，VLM 更适合做 weak preference oracle 和 reward validator，而不是直接 dense reward generator。
• 把 VLM 放在候选筛选、pairwise ranking、importance prior 这些低精度但高语义的位置，比让它逐状态打分更稳。
• 第三，未来真正值得做的是冲突感知的 reward composition、uncertainty-aware querying、跨任务共享 residual reward，以及在遮挡/力控/长程任务中验证这种 decomposition 是否仍成立。

一句话总结

CoRe 是一篇把 LLM/VLM 奖励设计从“单模型生成完整奖励”推进到“结构奖励 + 视觉偏好残差 + 偏好约束搜索”的方法论文，真正贡献在于奖励误差分解和信息流重组，而不是更强的 foundation model 本身。