Awesome World Models / OpenReview

SPUR: Scaling Reward Learning from Human Demonstrations

作者：作者信息待提取 · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：5. World Models x VLAs / Combining World Models and VLAs

具身智能视觉语言动作/策略学习后训练/规模化

精读笔记

Problem Setting

论文标题：SPUR: Scaling Reward Learning from Human Demonstrations（Awesome World Models / 2025）。

这篇论文实际处理的是离线 reward model 的可扩展泛化问题：给定一批带语言指令的机器人演示和成功/失败标签，训练一个测试时可直接用于未见任务的视频-语言奖励函数。关键矛盾在于，真实机器人 reward 既需要 dense shaping 又需要跨任务语义泛化；前者通常来自 task-specific progress model，后者通常来自大 VLM，但两者单独使用都不够可靠。

以前方法卡在几个点：IRL / human preference 往往需要每个新任务重新收集监督或在线训练；LLM/VLM reward design 经常依赖 privileged state 或生成代码，真实视觉场景不稳；zero-shot VLM reward 语义强但输出 noisy，不适合作为低层策略优化信号；ReWiND/LIV/VLC 这类视觉 reward model 可以做 progress 或 contrastive learning，但容易受域限制。SPUR 的定位就是把“可迁移表示”和“可优化 reward shape”合在一个模型里。

Motivation

作者的核心观察是：现有三条路线各自有用但都缺一块。VLM 有跨任务语义，但缺机器人执行过程中的细粒度 reward calibration；progress prediction 有 dense reward，但默认成功演示的时间轴就是任务进度，且无法自然利用失败轨迹；preference learning 可以利用失败和比较，但通常给的是 pairwise 判断，不直接提供 per-step shaping。

因此缺口不是“再做一个 reward head”，而是缺一个能把成功演示、失败执行、错任务视频、倒放视频都转成统一监督信号的训练框架。SPUR 的动机可以理解为：用 VLM 的 latent space 承载开放词汇任务语义，再用 progress/preference 两类约束把这个 latent space 校准成 reward space。

Core Idea

SPUR 的核心思想是把 reward learning 从“学习某个任务的标量奖励”改成“学习语言条件下视频轨迹的进度结构”。它同时要求模型回答两个问题：这段视频相对于语言目标走到哪一步了？两段视频哪一个更符合目标、更接近完成？前者提供连续 dense reward，后者提供对失败、错配、倒退的全局排序约束。

这个建模方式引入的 inductive bias 很强：成功轨迹应沿语言目标单调前进，rewind 是局部违反进度，错任务是语义 grounding 失败，失败轨迹应低于成功轨迹。相比 prior，它不是单纯 prompt VLM 读 reward，也不是训练一个小的 domain-specific progress estimator，而是把 pretrained VLM 微调成一个视频-语言 reward representation。可扩展性主要来自两个来源：一是大 VLM 的语义先验，二是从普通演示自动构造大量 preference/progress 监督，而不需要人工 pairwise label。

Method

1. 可训练 VLM backbone：SPUR 使用 Qwen2.5-VL-3B 作为视频-语言编码器。关键不是模型名字，而是选择“fine-tune VLM”而非“zero-shot query VLM”。这解决了 zero-shot VLM reward 不稳定、尺度不校准的问题，同时保留语言和视觉泛化能力。

2. Progress objective：在成功演示上把时间归一化为进度标签，并对每帧预测 progress。它解决 dense reward 的来源问题，使模型可输出每个 timestep 的 reward-like signal。rewind augmentation 进一步把“倒退”显式写入监督中，迫使 reward 不只是随时间或轨迹长度增加。

3. Preference objective：通过成功 vs 失败、同任务 vs 错任务、原视频 vs rewind、长 subsequence vs 短 subsequence 构造二元偏好。它的机制价值在于把那些没有可用 progress label 的轨迹也纳入训练，尤其是失败数据；同时它约束 reward 的相对排序，弥补 MSE progress 回归只在成功轨迹上学习的盲区。

4. 联合训练：progress 和 preference 共享 VLM 表征。这里的核心变化是让同一 latent representation 同时满足时间连续性和轨迹排序性。单独 progress 容易学到“看起来越来越往后”的时间模式，单独 preference 缺少 dense shaping；联合目标让 reward 更像一个可排序的进度势函数。

Key Insight / Why It Works

我认为最关键的有效性来源是 representation alignment，而不是某个具体 augmentation。SPUR 把 VLM 原本面向通用视觉语言理解的 embedding，重新对齐到机器人任务中的“目标进度”坐标系。progress loss 提供局部、连续、可微的坐标；preference loss 提供全局排序和负例边界；二者叠加后，模型才不只是识别物体/动作，而是开始把视频状态映射到“相对任务完成度”。

第二个关键点是负例构造。reward learning 最难的不是知道成功视频长什么样，而是知道什么不该给高分。Different task 负例解决语言 grounding；failed trajectory 负例解决执行质量；rewind 负例解决非单调进度；subsequence 负例解决同轨迹内阶段排序。这里本质上是 synthetic preference curriculum，而不是单纯 data augmentation。

第三，SPUR 的“泛化”很大程度上可能来自 scaling + pretrained VLM prior。3B VLM 已经有强物体、空间关系、动作视频理解能力，SPUR 做的是 reward calibration。若换成小模型，progress/preference 目标未必足以跨域泛化；若换成更大 VLM，增益可能继续主要来自 backbone。文中没有充分隔离 backbone scale、训练数据覆盖、合成 pair 策略三者的贡献。

第四，rewind 的作用被合理利用但也容易被高估。rewind 确实给了一个通用的“bad temporal transition”信号，但它假设任务进度可逆且倒退代表失败。在很多真实操作中，失败并不表现为视觉倒退，而是卡住、偏离、遮挡、接触力错误或不可见状态变化。因此 rewind 更像一种有用的局部 regularizer，而不是通用失败模型。

如果要直接下判断：SPUR 的实质贡献是把 ReWiND 式 progress shaping 和 preference-style ranking 接到可微调的大 VLM 上，并通过自动构造 pair 让监督规模化。它不是新的 reward learning 理论，也没有证明长期规划或因果任务理解；它更像是 reward model 领域的 post-training/scaling recipe，而且这个 recipe 是合理且有迁移价值的。

Relation To Prior Work

SPUR 最接近三条谱系的交叉：VLM-as-reward、progress-based visual reward、preference/contrastive reward learning。

相对 GVL、RL-VLM-F 这类直接 prompt foundation model 的方法，SPUR 的本质差异是从 inference-time prompting 转向 training-time calibration。它不相信 VLM 原始输出可以直接当 reward，而是利用 VLM 表示做 supervised reward post-training。

相对 ReWiND，SPUR 的新增点主要有两个：一是把 backbone 从较小/冻结视觉语言编码器升级为可微调视频 VLM；二是引入 preference objective 来吃掉失败轨迹和错配轨迹，而不是只依赖成功轨迹的 progress labels + rewind。rewind 本身不是新东西，线性 progress 标签也不是新东西；实质创新在于把它们组织成一个统一的可扩展 reward post-training 数据生成方案。

相对 VLC、Rank2Reward、RoboCLIP 等对比/偏好型视觉 reward，SPUR 的不同是它仍保留 per-frame progress 作为显式 dense reward，因此更贴近 downstream policy optimization。它不是只学 embedding distance 或 pairwise rank，而是同时学一个可直接读出的进度势函数。

因此这篇更应被看作“VLM reward post-training recipe”，而不是新的 IRL 或 preference learning 框架。

Dataset / Evaluation

评估覆盖 LIBERO 和 MetaWorld，包含多任务、未见任务、目标/物体/空间变化等 OOD split；这对验证语言条件 reward 的 benchmark-level 泛化是有意义的。LIBERO-90 到 LIBERO-10/Object/Spatial/Goal 的设定能检验一定程度的组合泛化，MetaWorld 则提供与 ReWiND 体系的可比性。

但 evaluation 仍主要停留在 reward metric：preference accuracy、progress MSE、Spearman reward alignment。它们说明模型在离线轨迹上的排序和进度拟合更好，但没有充分证明这些 reward 在闭环 RL 中不会被 exploit，也没有证明能显著提升真实策略学习效率。尤其 reward alignment 和 downstream success 之间虽有相关性，但不是等价。

没有真机实验，没有长时程真实任务，没有跨 embodiment 实验。论文 claim 指向 scalable robot learning，但实验更准确地支持的是“在模拟/benchmark 轨迹分布上，VLM fine-tuning + synthetic preference/progress supervision 能提升 reward model 指标”。这不是无效，但 claim 的外推边界要收紧。

另一个 evaluation limitation 是数据覆盖和潜在 overlap 问题。LIBERO 和 MetaWorld 的任务、物体、语言模式较规范，VLM 预训练中也可能已有相似视觉-语言概念。所谓 OOD 主要是 benchmark split 上的 OOD，不等于真实世界语义/动力学 OOD。

Limitation

1. 线性时间进度假设很强。SPUR 默认成功演示的时间比例可作为 progress label，这在短程、单调 manipulation 中可行，但在多路径、多阶段等待、非单调探索、需要先远离再接近目标的任务中会错。

2. 失败建模仍是弱监督。失败轨迹只通过 preference 进入，缺少细粒度失败原因和状态定位。模型可能只学到“失败视频整体更差”，但不知道哪一步错了。对于 policy training，这可能导致 reward 在局部纠错上不够精确。

3. 泛化可能主要来自数据和 backbone。文中未充分说明在相同 VLM backbone 下，单纯扩大 progress/reward 数据 vs 加 preference 的边际贡献；也未充分说明更小/更大 backbone 的 scaling law。增益来源不清，可能主要来自 scaling / data。

4. Reward hacking 风险未检验。离线 alignment 高不代表闭环优化稳定。策略可能找到视觉上像“进度增加”但实际失败的状态，尤其是遮挡、相机视角、接触状态、物体未稳定放置等情况。

5. 没有真正的 world model。尽管归在 World Models x VLAs，SPUR 不是预测未来状态，也没有显式 dynamics 或 planning。它是视频-语言 reward critic，不应被解读为形成了长期状态模型。

6. 长时程和组合任务上限不明。16 帧下采样、短演示、规范任务都偏向阶段清晰的 manipulation。若任务需要记忆子目标完成历史、不可见状态或跨分钟规划，当前机制可能不足。

7. Cross-embodiment 只是展望。方法理论上可扩展到人类视频，但 progress/preference 标签和 embodiment gap 如何处理，文中未充分说明。

Takeaway

  • 1. 值得记住的不是“用 Qwen 做 reward”，而是 reward model post-training 可以用两类互补监督：progress 给 dense shape，preference 给负例边界和失败利用。
  • 2. 对机器人 reward learning 来说，自动构造 negative/preference pairs 可能比设计更复杂的 reward head 更重要。
  • 错任务、rewind、失败、subsequence 这些信号共同定义了 reward space 的几何。
  • 3. 未来方向很可能沿着“VLM/VLA backbone + reward-specific post-training data mixture”演化，而不是继续依赖 zero-shot VLM reward query。

一句话总结

SPUR 是一篇把大 VLM 语义先验、ReWiND 式进度监督和自动合成 preference supervision 统一成 reward post-training recipe 的工作，真正贡献在于更可扩展地校准视频-语言模型为机器人 dense reward，而不是提出新的奖励学习理论。