精读笔记

Problem Setting

这篇论文面对的是长时程机器人操作里的 reward bottleneck：环境只给稀疏终止信号，而手工 dense reward 难迁移、难维护、对物体配置和任务细节高度脆弱。真正困难点不是“从视频学奖励”本身，而是无结构视频只给了成功轨迹，却没有告诉模型哪些视觉变化代表阶段完成、哪些只是背景或姿态扰动。

以前的视觉 reward 方法通常把进度建模成当前 observation 与 goal observation 的 embedding 距离。这在短任务里近似合理，但在多阶段任务中会失效：一个状态是否好，不只取决于它像不像最终目标，还取决于它是否处在正确的执行顺序中。关键矛盾是：RL 需要连续可优化的奖励，但任务本身的可执行逻辑是离散、阶段化、带前置条件的。

Motivation

已有路线不够的根本原因是它们缺少 task logic。VIP/LIV 这类方法把视觉表示空间当作 reward 空间，默认 embedding 距离能反映行为进度；但长时程 manipulation 中，视觉接近目标并不等价于动作上接近成功，尤其是 grasp、insert、place 这类阶段有明显的因果前置条件。

作者的核心观察是：专家视频虽然没有人工标注，但其时间结构本身包含了可利用的 stage order。相比学习一个全局 reward scalar，更合理的是先恢复一个粗粒度的任务阶段坐标，再在局部阶段内估计连续进度。缺口不是缺更强的视觉 encoder，而是缺一种把 unstructured demonstrations 转换成 temporally coherent reward 的建模方式。

Core Idea

STDR 的核心思想是把长时程操作的奖励坐标系重写为“离散阶段位置 + 阶段内连续进度”。这相当于把一个全局非凸、容易被视觉相似性误导的 reward learning 问题，拆成一个 stage transition 识别问题和多个局部 progress estimation 问题。离散 stage 保证奖励不会因为局部视觉相似而跳到错误目标，局部 progress 又避免只有 stage boundary 时奖励过稀。

本质区别在于 inductive bias：prior 多假设视觉 embedding 的几何距离可以直接表示任务进度，而 STDR 假设任务进度首先由语义阶段序列定义，视觉相似度只在同一阶段内部有意义。这是一个更强、更适合 manipulation 的结构先验。它也更 scalable 的原因不是模型更通用，而是 stage label 可以由 VLM 从视频中弱监督生成，从而把人工 reward engineering 转移成自动 temporal parsing。

Method

方法里真正必要的机制只有几类。第一，VLM 离线切分专家视频，解决无结构 demonstration 缺少 stage boundary 的问题。这里 VLM 不是在线 planner，而是弱标注器；它把视频中的时间顺序转换为训练 stage discriminator 的伪标签。

第二，stage discriminator 在线估计当前阶段，解决 reward 的全局顺序约束问题。它的作用不是精确识别每一帧语义，而是防止 progress reward 在错误阶段被解释，避免 agent 跳过前置条件。

第三，stage-conditioned progress estimator 解决每个阶段内部 reward 太稀的问题。FiLM conditioning 的核心意义是让同一视觉特征在不同 stage 下服务于不同进度定义：approach 阶段关注距离，grasp 阶段关注接触/闭合，place 阶段关注目标对齐。

第四，OOD gating、retrieval fallback 和 grasp verification 解决 reward model 在 RL 分布外被 exploit 的问题。它们本质上是保守化机制：当模型不确定当前状态是否像专家分布，就降低或限制进度奖励；当任务需要稳定抓取，就阻止仅凭视觉接近而提前进入后续阶段。

Key Insight / Why It Works

最可能真正有效的是 stage-monotonic reward landscape，而不是某个具体网络结构。RL 从 sparse reward 中学不到长时程操作，主要因为 early exploration 无法知道哪些中间状态是有价值的；STDR 把专家视频中的顺序信息蒸馏成一个近似 curriculum，使 agent 可以沿着 stage index 逐步推进。这更像把 demonstration 变成 reward-shaped curriculum，而不是传统 IRL。

第二个有效点是把 progress 限定在 stage 内。全局 progress regression 很容易学到视觉 shortcut，例如目标物接近某位置就给高分，但它无法表达“必须先抓住再移动”。stage-local progress 降低了函数复杂度，也减少了错误泛化范围。这是 better inductive bias，不是单纯 scaling。

OOD 与 retrieval 机制大概率是性能稳定性的关键辅助，而不是主贡献。它们防止 learned reward 在 RL policy 访问的非专家状态上自信输出高分，本质是 reward conservatism。这里的 retrieval-based fallback 说明模型并不完全依赖 learned continuous representation；在分布外时，它退回到专家特征邻近度。这有效，但也意味着一部分能力可能来自 memory reuse / nearest-neighbor alignment，而非真正泛化。

Grasping regulation 是很工程但重要的补丁。它暴露了纯视觉全局模型对小尺度接触状态的弱点：如果没有显式 verification，stage transition 会 leakage。这个模块不像核心理论贡献，更像针对 manipulation 物理前置条件的 necessary engineering。

需要警惕的是，论文中的“semantic understanding”主要用于离线分段，在线并没有显示出复杂推理能力。所谓 long-horizon reasoning 更像把专家视频压缩成固定 stage automaton，再用分类器执行状态跟踪。若 benchmark 的成功轨迹与专家轨迹高度同构，STDR 会很强；但这不等于它学会了可组合规划。

Relation To Prior Work

它最接近 demonstration-based reward learning、visual reward learning、TCN/VIP/LIV 式表征奖励，以及 task decomposition / option-style hierarchical RL 的交叉区域。和 IRL 的区别是它不试图恢复解释专家行为的真实 reward，而是直接构造一个对 RL 训练友好的 shaping signal。

和 VIP/LIV 的本质差异在于 reward 的坐标系不同：VIP/LIV 是 embedding-space goal distance，STDR 是 stage-structured temporal progress。前者的新增信息主要来自大规模视觉预训练或语言-图像对齐，后者的新增信息来自专家视频的阶段顺序。

看似新的部分中，VLM segmentation、pairwise ranking、isotonic regularization、OOD detection、retrieval fallback、grasp gate 都不是单独新思想；实质创新是把这些组件组织成一个 reward automaton：stage transition 负责全局逻辑，progress 负责局部梯度，OOD/verification 负责防止 reward hacking。它属于“用弱监督恢复 latent task structure，再作为 RL reward prior”的技术谱系。

Dataset / Evaluation

实验覆盖 14 个模拟 manipulation 任务，包含多平台、不同物理精度和视觉复杂度，并加入真机视频上的 reward assignment 检查。这个覆盖范围足以支持一个有限 claim：在固定阶段顺序的长时程操作中，stage-structured visual reward 比纯视觉相似度奖励更稳定、更高效。

但 evaluation 主要验证的是 reward shaping 对 PPO 训练的帮助，而不是广义任务泛化。每个任务都有 30 条专家演示，且 stage 数和任务语义基本固定；这更像 task-specific reward model learning，而不是跨任务通用 reward learning。真机部分评估的是 reward curve 是否合理，不是用该 reward 在真机上闭环训练策略，因此 deployment claim 仍偏弱。

和 Human-Dense 的比较有参考价值，但不能过度解读为视觉 reward 全面超过手工 reward。手工 dense reward 的质量差异很大，尤其 Franka Kitchen 还使用自定义版本；增益可能部分来自 handcrafted baseline 未充分调优。和 DP 的比较也不完全等价：STDR 用演示训练 reward 后还能通过在线 RL 交互扩展数据，而 DP 是纯离线 imitation。

Limitation

最大前提是任务必须有基本一致的 stage sequence。论文也承认对 exchangeable sequences 适配较差；更进一步说，只要任务存在多条等价策略路径，单一 stage automaton 就可能把合理探索判为 OOD 或低进度。

第二个前提是专家视频覆盖关键视觉状态。OOD gating 能防止错误高奖励，但也可能压制偏离专家但有效的策略。换言之，STDR 把 reward hacking 风险换成了 conservatism 和 demonstration coverage 依赖。

第三，阶段边界质量和 stage 数选择没有被充分分析。文中说 VLM label 是 weak supervision 且不需精确边界，但没有系统说明 label noise、over-segmentation、under-segmentation 对 RL 性能的影响。这里可能存在 hidden supervision：任务描述、专家视频、VLM prior 和固定 K 一起提供了相当强的结构信息。

第四，在线模型没有真正处理长期分支 planning。它更像固定任务流程的 visual state machine，而不是能在动态环境中重新规划的 reward model。若发生失败恢复、物体丢失后重新抓取、阶段回退等情况，单调 stage reward 可能反而误导。

第五，增益归因不完全清楚。stage decomposition、progress regression、OOD retrieval、grasp verification、专家数据质量、PPO interaction budget 都可能贡献性能；论文消融覆盖了大组件，但不足以说明核心收益究竟来自 latent structure，还是来自更强的 task-specific supervision 与 conservative reward calibration。

Takeaway

• 最值得迁移的 insight 是：长时程机器人 reward 不应直接学全局相似度，而应先恢复任务的 latent temporal structure，再在局部结构内定义可优化信号。
• 第二，reward model 在 RL 中必须考虑 policy-induced distribution shift。
• 只学习成功视频上的进度函数不够，必须有 OOD-aware conservatism，否则 learned reward 会被 policy exploit。
• 第三，VLM 的合理用法未必是在线控制或高层规划，而是离线提供弱结构标注，把语义先验转成可训练的低层 reward model。

一句话总结

STDR 是一类把专家视频蒸馏成阶段化 reward automaton 的方法，真正贡献在于用 latent stage structure 重塑长时程 manipulation 的奖励几何，而不是提出了一个更强的通用视觉 reward 表征。