精读笔记

Problem Setting

VLM-AR3L: Vision-Language Models for Absolute and Relative Rewards in Reinforcement Learning（arXiv preprint / 2026）

这篇论文实际处理的是 vision-only / language-goal RL 中的 reward construction：不给 privileged state、不写 dense reward，只允许从视觉观测和自然语言目标中得到训练信号。它关心的不是 VLM 能否零样本给一个 reward，而是如何把 VLM 的语义偏好变成一个能被 RL 长时间优化的稳定奖励函数。

真正困难点在于 reward model 与 policy 同时演化：policy 不断进入新状态，reward model 的训练分布也随之变化。绝对 reward 要给每个状态分配一个全局标量，隐含假设是“任务进展”在状态空间上存在一致排序。但在 Minecraft 式任务、循环路径、部分可观测场景里，这个假设经常不成立：同一个视觉状态的价值依赖历史、方向、已完成子目标，甚至任务阶段。

以前路线卡在两端：CLIP-like similarity 太粗，能表达“像不像目标”，但很难表达“是否正在朝目标推进”；VLM preference-based reward 更强，但若最终仍蒸馏成单状态 scalar reward，本质上仍在学习全局势函数。关键矛盾是：VLM 最擅长的是局部比较和语义判断，而 RL 需要的是跨时间一致、可迭代优化的 reward signal。

Motivation

作者的核心动机是：absolute reward 在复杂开放环境中不只是 noisy，而是 modeling assumption 错了。它把 pairwise preference 压缩成单状态分数，因此要求所有状态能被放到同一条“离目标远近”的轴上。一旦任务有循环结构、阶段切换、局部回退后全局推进，或者视觉上相似但语义阶段不同，absolute score 就会产生不稳定排序。

论文里最重要的观察是 Fig. 1 / Fig. 2 所表达的东西：同一条 expert trajectory 在不同 reward model training step 下，absolute reward 曲线会明显漂移；而 relative reward 累积后更稳定。RingWorld 是一个刻意简化但很有诊断性的例子：在闭环中，状态的绝对“接近目标”没有良定义，但转移方向是否正确有定义。

因此缺口不是“更强 VLM”本身，而是 reward representation 需要匹配 VLM supervision 的自然形式。VLM 对两张图判断哪张更接近目标，比对单张图打一个 calibrated scalar 更合理；进一步地，把这种偏好保留为 transition-level signal，而不是强行积分成全局状态值，是这篇论文的主要动机。

Core Idea

核心思想可以概括为：不要只让 VLM 教 agent 一个全局 reward landscape，而要让它同时教 agent 局部 progress operator。Absolute reward 学的是 r(s)，relative reward 学的是 P(s_i ≻ s_j | goal)。前者在任务有清晰单调进展时有用，后者在全局排序不成立时保留局部方向信息。

这个建模改变引入了一个重要 inductive bias：奖励不再完全绑定到状态本身，而部分绑定到状态变化。也就是说，方法把“好状态”与“好转移”分开。对于 RL 来说，这比单纯 dense shaping 更接近 advantage-like feedback：当前观测相对于过去观测是否变好，直接给出局部爬坡方向。

和 prior 的本质区别在于，RL-VLM-F 等方法虽然用 VLM 做 pairwise comparison，但最终仍训练 absolute scalar reward；VLM-AR3L 则保留 comparison structure，并在 policy learning 时显式使用它。它重新组织的信息流是：VLM preference → 两种 reward geometry → policy optimization，而不是 VLM preference → 单一 state value → policy optimization。可扩展性来自两点：VLM 查询只发生在 reward model training 阶段，推理时用小 Siamese model；同时 relative reward 对新状态分布的全局 calibration 要求更低。

Method

方法层面真正必要的机制只有几个。

第一，VLM-generated preference labels 作为统一监督源。它解决的是人类标注和手写 reward 昂贵的问题，但更关键的是让 supervision 直接来自视觉-语言语义比较，而不是 embedding 相似度。这里 VLM 不是在线 planner，而是离线/准在线 annotator。

第二，absolute reward model 保留单状态评价。它解决的是局部比较不足以表达终态质量的问题；如果任务确实存在明确全局进度，例如 CartPole、Drawer Open、部分 manipulation，absolute reward 是高效 shaping signal。它的作用更像稳定的 potential estimate，但前提是 global ordering 大致存在。

第三，relative reward model 用 Siamese comparison 学局部进展。它解决 absolute reward 的 calibration drift 和 global ordering failure。核心变化是 reward 从 r(s_t) 变成 progress(s_t, s_{t-k})，从状态属性变为转移属性。

第四，symmetric confidence check 是一个实用但重要的 noise filter。VLM/relative model 在相近图像上容易产生方向性偏差；要求正反比较一致，本质上是在牺牲覆盖率换 precision。这个机制可能贡献了不少稳定性，但它更像 engineering guardrail，而不是概念创新。

第五，dual reward fusion 不是复杂算法，而是承认两种 reward geometry 适用范围不同。线性混合本身没有深理论，但作为 inductive bias ensemble 是合理的：absolute 提供目标吸引，relative 提供方向约束。

Key Insight / Why It Works

这篇最有价值的 insight 是：VLM preference supervision 不应默认被蒸馏成 absolute reward。很多 VLM-for-RL 工作把 pairwise comparison 当作训练 scalar reward 的便宜标签，但这一步实际上丢掉了 preference 的局部结构，并引入了不必要的全局可排序假设。VLM-AR3L 的有效性主要来自保留这种局部结构。

我认为核心贡献是 relative reward 的 reward geometry，而不是双模型框架本身。Absolute + relative 的组合并不新，Siamese comparison 也不新；真正有效的是把“任务进展”建模为局部有向边，而不是状态势能。这与很多长时程任务的真实结构更匹配：agent 需要知道这一步是否朝目标推进，而不是每一帧在全局排行榜上排第几。

它更像 better inductive bias + memory reuse，而不是 test-time reasoning。VLM 查询被蒸馏到 reward model 后，policy rollout 阶段没有真正 VLM reasoning；所谓语义能力来自标注数据和 reward model 泛化。Siamese model 也不是规划器，它只是学习局部视觉差分的方向分类器。

增益中一部分可能来自 scaling / data coverage：Gemini-2.0-Flash 的 preference accuracy 明显优于多数开源 VLM，下游表现也随 annotator 变化。这说明方法能力上限很大程度由 VLM annotator 决定。文中展示了 Phi/MiniCPM 的可用性，但最强结果依赖 Gemini；因此不能把全部收益归因于 reward formulation。

相对奖励还隐含一种 weak curriculum：它从 replay buffer 中持续采样 agent 已经访问过的状态对，学习的是当前探索分布附近的局部进展方向。这比要求 reward model 一开始覆盖整个状态空间容易得多。换句话说，它把全局 reward learning 变成 policy distribution 上的局部比较学习，降低了函数学习难度。

但它没有真正解决长期 credit assignment。relative reward 能告诉你“这一步看起来更接近目标”，却不保证局部进展组合起来能到达全局成功；在需要先远离目标、收集工具、绕路或等待的任务中，这个 inductive bias 可能会误导。论文中的 Minecraft 任务虽然长一些，但多为视觉上可直接判别的接近/交互目标，尚未证明复杂任务分解能力。

Relation To Prior Work

最接近的是 RL-VLM-F：同样用 generative VLM 产生 observation-pair preference，再训练 reward model。VLM-AR3L 与它的实质差异不在 VLM 使用方式，而在 reward representation：RL-VLM-F 把 preference 压成 r(s)，VLM-AR3L 额外保留 pairwise comparator 并在 rollout 中作为 progress reward 使用。

和 CLIP/MineCLIP reward 相比，它不是直接做 image-text alignment，而是用 VLM 的多图比较能力生成监督。区别在于 CLIP reward 是静态相似度函数，通常不理解任务进展；VLM-AR3L 学的是 task-conditioned preference structure，更适合处理细微状态变化和对象交互。

和传统 preference-based RL 相比，它几乎沿用了 Bradley-Terry / pairwise CE 的范式，只是 annotator 从 human 变为 VLM，并把 segment length 简化为 H=1。这里看似新颖的部分不少是已有思想重组：Siamese comparison、preference modeling、reward model distillation 都是成熟组件。

实质创新在于指出 absolute reward formulation 在循环/模糊状态序中的结构性失败，并把 relative reward 作为一等 reward signal 引入 VLM-based RL。它属于“foundation model as annotator + learned reward shaping”的技术谱系，而不是 VLM agent/planner 谱系。

Dataset / Evaluation

评估覆盖 Gym、SoftGym、MetaWorld、MineDojo，跨度从低维控制、视觉 manipulation 到 Minecraft-like embodied tasks。任务选择基本能支撑论文关于“relative reward 对长时程/视觉复杂任务更有用”的 claim，尤其 MineDojo 上 absolute/RL-VLM-F 退化而 dual reward 更强，是主要证据。

但这不是现实世界验证，也没有真机实验。所谓 open-ended 主要体现在 MineDojo 环境，不等价于真实开放世界部署。任务多是目标视觉上可观察、交互对象明确、初始条件受控的设置；这对 VLM preference 非常友好。

VLM label accuracy evaluation 是有价值的，因为它把 annotator 质量与 downstream RL 连接起来。不过每个任务 100 对 pseudo labels 太小，且 pseudo ground truth 的构造方式可能隐含任务工程。若这些 pair 是按任务进度人工/规则采样得到，评估更像 annotator sanity check，而不是泛化证明。

成功率表明 VLM-AR3L 在若干 Minecraft 任务甚至超过 dense/sparse oracle，但这需要谨慎解释。Dense oracle 未必是最优 reward，可能存在 shaping bias；VLM reward 超过它不代表 VLM 理解更强，可能只是给了更适合当前算法的 dense shaping。best checkpoint、3 seeds、每 checkpoint 5 episodes 的评估也偏乐观，方差和稳定性结论有限。

总体上，evaluation 支持“relative reward 比 absolute-only 更稳、更适合这些 benchmark”，但还不足以支持“可泛化到真实开放环境”或“VLM 能替代人类 reward design”的强版本 claim。

Limitation

第一，方法强依赖局部视觉比较可判别。若任务成功依赖不可见状态、历史信息、工具库存、长期计划或 delayed consequence，H=1 的 VLM preference 和 s_t vs s_{t-k} comparison 都会失真。文中明确说多图/视频 VLM reasoning 仍不可靠，因此选择 H=1；这其实限制了它处理真正长时程任务的能力。

第二，relative reward 解决的是 global ordering 的一类失败，但不是所有 reward ambiguity。很多任务需要阶段性非单调行为：先远离目标、先拿工具、先打开门、先绕路。局部视觉“更接近目标”可能与最终成功负相关。方法没有学习 latent subgoal graph，也没有显式任务状态记忆。

第三，增益归因不完全清楚。Gemini annotator、prompt choice、Siamese ensemble、confidence threshold、temporal offset、reward normalization、RL algorithm choice 都可能影响结果。文中有 ablation，但不足以完全分离“relative formulation”与“更好的 annotation/data smoothing/engineering filter”的贡献。

第四，VLM bias 和 exploitability 没有被充分检验。RL agent 可能学会制造让 VLM/reward model 误判为进展的视觉模式，而不是完成任务。模拟 benchmark 中这种 reward hacking 可能不明显，真实部署会更严重。

第五，scalability 上限在 VLM querying 和 replay coverage。虽然 Siamese model 减少 rollout-time 查询，但训练仍需要持续采样并标注观测对；任务越开放，覆盖有效比较对越难。核心能力可能主要来自数据覆盖和 annotator prior，而不是 reward learner 本身。

第六，泛化可能依赖 benchmark overlap。Minecraft、常见机器人操作、物体交互很可能都在 VLM 预训练分布中有大量相似视觉模式；所谓 reasoning 更像 retrieval + visual semantic matching。文中未充分说明在罕见目标、组合任务、分布外视觉风格下是否仍有效。

Takeaway

• 1. VLM-for-RL 的关键不只是更强 annotator，而是 reward geometry 要匹配 supervision 形式；pairwise preference 不应总被压成 scalar state reward。
• 2. Relative reward 是一个可迁移的 inductive bias：当全局进度不可定义时，学习局部有向进展比学习全局势函数更稳。
• 这一点可迁移到机器人 manipulation、navigation、web/GUI agent、自动数据生成等场景。
• 3. 未来更值得做的是把 relative comparison 从固定帧对扩展到 temporal abstraction / option-level preference：比较子轨迹、阶段、技能结果，而不是单帧差分。

一句话总结

VLM-AR3L 是 VLM preference reward 从“学习全局状态分数”走向“学习局部进展结构”的一次有意义演化，真正贡献在于用 relative reward 修正 absolute reward 的错误建模假设，而不是简单把更强 VLM 接进 RL。