精读笔记

Problem Setting

论文标题：RARM: Confidence-Gated Progress Reward Modeling for RL in Manipulation（arXiv preprint / 2026）。

这篇论文的真实问题不是“如何从视频估计 progress”，而是如何把 progress estimate 变成 RL 可用的 reward。机器人操控里的 dense reward 有一个很硬的矛盾：如果 reward 太 sparse，长程任务几乎不可学；如果 reward 太 dense 但不可靠，RL 会系统性利用 reward model 的 false positive。尤其在 manipulation 中，视觉上接近完成和物理上真的完成之间经常不等价，例如抓取不稳、接触失败、布料形变错误、抽屉没挂住等。

以前方法卡住的点在于 progress reward 的“可迁移性”和“可信度”没有同时解决。VLM reward 有泛化语义，但 reward query 昂贵且容易对视觉合理但物理错误的状态过度乐观；任务特定 reward/progress model 可以更准，但需要 demonstrations、失败数据、subtask label 或 online refinement；reference-based 方法数据轻，但 raw similarity 很容易把停顿、倒退、绕路和失败状态误判为高 reward。关键矛盾是：RL 需要 dense shaping，但 dense shaping 只有在模型知道何时闭嘴时才安全。

Motivation

作者的核心观察是：progress 本身不是问题，错误且高置信的 progress 才是问题。一个 rollout 在视觉 embedding 空间里可能离 reference 后段很近，但这不代表任务真的进入了后段；相似度如果直接作为 reward，会鼓励 policy 停在高相似静态状态，或走向视觉捷径。

因此缺的不是更大的 reward model，也不是更多语义描述，而是一个机制：把 reference 用作 progress anchor，同时显式拒绝不可靠匹配。这个方向合理的地方在于，单个 successful demo 已经提供了任务阶段的顺序结构；如果只要求定位“现在大概到了 reference 的哪一段”，而不是模仿完整动作轨迹，数据需求会低很多。作者真正想补的是 reference-based reward 中缺少的 uncertainty/filtering 层。

Core Idea

RARM 的核心思想是把 demonstration 重新解释为一条 progress coordinate，而不是专家轨迹。rollout clip 和所有 reference clips 做比较，找到它最像 reference 的哪个时间段；reference 的时间位置提供 progress。但这个 progress 只有在匹配分数超过该 reference clip 的自校准阈值时才被接受，否则 progress 保持不变。

这个建模方式引入了一个很强的 inductive bias：任务进展是沿 reference 单调推进的，reward 应该来自“可信的时间坐标前移”，而不是来自“当前状态看起来像成功”。信息流上，它把视觉匹配、时间定位和 reward assignment 分开：comparator 只负责给出局部兼容性，reward rule 负责把兼容性转化为安全的 forward progress。这和 prior 的本质区别在于，它不把 similarity 当 reward，而把 similarity 当 retrieval/localization signal，再通过 confidence gate 控制是否释放 reward。

Method

方法中真正关键的机制只有几层。

第一，短 clip comparator 解决的是单帧状态无法表达 motion/order 的问题。通过比较 5-frame clip 而不是单帧，它能区分 forward motion、reverse motion 和静态相似，这对 long-horizon manipulation 很重要。这里的重点不是具体 backbone，而是 reward model 学的是 temporal compatibility。

第二，通用视频上的 contrastive temporal learning 解决的是 task-specific reward label 缺失问题。anchor/positive 来自相近时间区域，negative 包括远时间片段、反向 clip 和其他视频，本质上让模型学习“局部时间邻近 + 方向性”而非机器人语义。这个设定的隐含假设是自然视频中的时间变化结构足以迁移到操控进展。

第三，reference-anchored retrieval 解决的是 rollout 和 demo 不同步的问题。当前 rollout clip 可以匹配任意 reference clip，因此 policy 可以快、慢、停顿或恢复，不必和 demonstration 时间对齐。这比 TemporalOT 类的强轨迹对齐更宽松。

第四，confidence gate 是最核心机制。每个 reference clip 的阈值来自 reference 自身匹配统计，用来判断“这个 reference 位置需要多强的匹配才可信”。低置信状态不被解释为 backward progress，也不被解释为 forward progress，而是保持上一 progress。这个设计非常 pragmatic：失败状态通常不是可靠地“倒退到某阶段”，而是脱离 reference manifold。

第五，reward 是 progress change，而不是 progress value 或 similarity score。只有当 accepted progress 超过历史 progress 时才给 1。这避免了反复访问同一高相似状态得到 reward，也减少了分数 jitter 对 critic 的污染。

Key Insight / Why It Works

最可能真正有效的部分是 confidence-gated progress change，而不是模型架构本身。RARM 的收益来自把 reward hacking 的入口关掉：raw similarity、VLM progress、trajectory alignment 都会在失败但视觉合理的状态上继续给正反馈；RARM 在不确定时给 0，使错误 dense reward 变成 missing reward，而不是 misleading reward。对 RL 来说，缺信号通常比错信号更安全。

本质上这是一种 retrieval + calibrated acceptance 的 reward shaping。reference timeline 是一个可查询 memory，rollout clip 在这个 memory 上检索位置；gate 决定检索结果是否可信。它不是在做长期 planning，也不是显式理解任务因果结构。所谓 progress reasoning 更像是把局部视觉动态投影到一个单调 latent coordinate 上。

为什么比 prior 更 scalable？因为它把 per-task supervision 压缩成一个 reference video，把 task-specific learning 转移到 test-time retrieval；reward model 的训练只需要通用视频。这里的 scalable 主要来自两点：一是通用视频预训练提供了足够强的 motion representation；二是 reference demonstration 提供了 task-specific ordering。它并没有消除任务信息需求，而是把任务信息从 reward labels 改成了 reference trajectory。

哪些可能只是 engineering / scaling？DINOv3、LoRA、cross-attention、strong augmentation、GPU-efficient clip scoring都可能显著贡献结果，但不是概念创新。文中 ablation 表明 temporal processor 和 cross-attention 有用，但没有完全拆清“更强 backbone/更多视频数据”与“confidence-gated progress rule”的贡献比例。核心贡献应归因于 reward construction rule，而不是视觉编码器。

一个值得注意的判断：confidence gate 并不是严格意义上的 Bayesian uncertainty，也没有证明 calibration。它更像是 reference manifold membership test。只要错误状态仍能高分匹配某个 reference clip，gate 仍会失败；反之，如果合法但视觉上偏离 reference 的成功路径低分，它会被压制。这个 trade-off 是方法成立的中心前提。

Relation To Prior Work

RARM 最接近三条线：one-demo/reference reward、temporal progress learning、VLM/general reward model。它不是全新范式，而是把这些线重新组合成“reference retrieval + temporal contrastive comparator + confidence-gated progress reward”。

相对 RoboCLIP/visual similarity reward，真正差异是 RARM 不奖励相似度，而只用相似度定位 progress；这避免了高相似静态状态和视觉 shortcut。相对 TemporalOT，RARM 不强制整条轨迹对齐，而是逐 clip 匹配 reference timeline，因此对速度变化、暂停和恢复更宽容。相对 VLM reward，RARM 放弃开放语义理解，换取低延迟和更可控的 reference-grounded reward。相对 PROGRESSOR/Diffusion Reward/VIPER 一类 uncertainty-aware 方法，RARM 的优势是无需 task-related failure data 或 online refinement，但 uncertainty 也更粗糙。

实质创新在于把 confidence gating 放在 progress reward 的中心，而不是作为附加 regularizer；并且用 reference self-statistics 给每个 progress position 设阈值。看似新的“single demo dense reward”并不新，新的地方是 single demo reward 的安全释放条件。

Dataset / Evaluation

评估覆盖了模拟和真机，范围比只做 benchmark curve 更有说服力。MetaWorld 和 LIBERO 覆盖短程、长程、不同操控对象；真机部分包括单臂、双臂和布料折叠，确实触及了作者 claim 中 reward false positive 最危险的区域。尤其 cloth folding 的 qualitative failure/success reward 曲线，比平均成功率更能验证 confidence gate 的必要性。

但 evaluation 仍有几个限制。第一，所有任务都可以被单条 reference 近似成单调阶段序列，这天然适合 RARM；多解路径、循环任务、需要绕路探索的任务没有真正检验。第二，仿真中使用 task success signal together with dense reward，文中对 success signal 的权重和影响没有充分展开；这会影响“RARM 是否单独提供 reward”的判断。第三，LIBERO 中提到从 demonstration intermediate states reset 以改善 exploration，这可能显著降低长程探索难度，增益归因不完全清楚。第四，真机评估规模小，每个 checkpoint 10 次 rollout，能说明 feasibility，但不足以证明 robust deployment。

synthetic reference 的 appendix 很有意思，但证据较弱。它支持“reference 不必 pixel-perfect”，但还不能证明生成视频可以规模化替代 human demo；更复杂物理接触下 synthetic trajectory 的 hallucination 是否会诱导错误 progress，文中未充分说明。

Limitation

RARM 的核心前提是任务可以由一条代表性 reference trajectory 提供单调 progress coordinate。这个前提在很多 manipulation task 中并不总成立：多种成功路径、可交换子任务、循环操作、重复视觉状态、需要回退再前进的策略都会破坏单一 reference 时间轴。

第二个上限是视觉可观测性。RARM 只基于 RGB clip comparison，对接触力、抓取稳定性、微小滑移、内部约束、遮挡后的物体状态没有直接建模。如果失败状态视觉上与成功阶段高度相似，confidence gate 不一定能救。

第三，泛化能力可能主要来自数据覆盖和 backbone，而不是方法本身的抽象 reasoning。通用视频训练让模型有 motion prior，但机器人操作中的物理语义并不一定被自然视频充分覆盖。所谓 generalization 更像 representation alignment + reference retrieval，而不是跨任务因果理解。

第四，方法把 reward engineering 转移成 reference acquisition 和 threshold calibration。它不需要 dense label，但需要一个足够好的 successful demo；如果 demo 非最优、包含冗余动作、视角不同或阶段重复，progress reward 会继承这些偏差。

第五，confidence gate 的校准机制仍偏 heuristic。文中未充分说明 δ_j 对 reference 质量、clip redundancy、camera changes、不同对象实例的敏感性，也没有给出系统性的 calibration error 分析。它能过滤低相似 OOD，但不能保证过滤高相似 false positive。

第六，增益归因不完全清晰。RARM 同时引入了更强视觉 backbone、contrastive video pretraining、cross-attention comparator、progress-delta reward、confidence gate、reference retrieval。ablation 支持组件有效，但还不足以干净区分核心机制贡献和 scaling / engineering 收益。

Takeaway

• 最值得迁移的 insight 是：learned reward 不应该直接输出 dense scalar，而应该先输出一个可解释的 latent coordinate，再用置信机制决定是否把它转成 reward。
• 对 RL reward model 来说，拒绝给错 reward 往往比覆盖所有状态更重要。
• 第二，single demonstration 的价值不在 imitation，而在提供 task-specific ordering memory。
• 把 demo 当作 progress index，而不是 behavior target，是一种很实用的建模转向。

一句话总结

RARM 是 reference-based robotic reward modeling 从“相似度打分”走向“置信门控的进度检索”的一次实用演化，真正贡献在于把单 demo 变成可拒绝匹配的 progress coordinate，从而降低 dense reward 在 RL 中的 false-positive 风险。