精读笔记
Problem Setting
论文标题：Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning（arXiv preprint / 2026）。
这篇论文实际处理的是 offline PbRL 中的“少量偏好标签如何覆盖大规模离线数据”的问题。标准 PbRL 在 reward learning 阶段需要足够多的 segment-pair comparisons，否则 learned reward 只在被标注的局部区域有意义，policy optimization 时会把这个局部 reward extrapolation 放大成策略偏差。
真正困难点不是 pairwise preference loss，也不是 offline RL 算法，而是 preference supervision 的 coverage mismatch：人类只标了极少数 segment pairs，但 reward model 最终要给整个 offline dataset 的 state-action relabel reward。以前方法卡在两处：一类直接从少量偏好训练 reward，容易欠覆盖；另一类用 learned reward 自己给 unlabeled data 打 pseudo-label，容易 confirmation bias。关键矛盾是：反馈预算极低，但 reward model 需要全数据分布上的排序结构。
Motivation
已有路线不够的根本原因是它们缺少一个独立于当前 reward model 的行为相似性结构。主动学习能更聪明地问问题，但仍要人标；ranking/listwise 方法更高效地利用标签，但不能凭空增加覆盖；SURF 这类 semi-supervised 方法虽然利用 unlabeled data，但 pseudo-label 由当前 reward model 产生，在 10 labels 这种 regime 下非常容易把早期错误固化。
作者抓住的缺口是：偏好标注本来就是通过视频片段呈现的，而现代 ViFM 可能已经提供了一个比低维 state 或 learned reward 更稳定的行为空间。在这个空间里，未标注行为可以和少量已标注行为建立相似性关系，再把 preference relation 传播过去。也就是说，论文不是试图让 reward model 自己学会泛化，而是借用 foundation video representation 先构造一个外部的 preference propagation graph。
Core Idea
VOTP 的核心思想是：不要直接从 10 个 preference pairs 拟合 reward，而是先在 ViFM latent space 中把 labeled segments 和大量 unlabeled segments 对齐，然后把 labeled pairwise preference relation 通过这种对齐传播到 unlabeled pairs。最终 reward model 看到的是由少量人工标签扩展出的 pseudo-preference dataset。
这个方法改变了 PbRL 的建模方式：偏好不再只是 reward model 的监督信号，而变成 latent behavior manifold 上可传播的关系。OT 的作用不是计算一个 Wasserstein distance 作为 reward，而是给 labeled/unlabeled segments 建立全局 coupling，使 pseudo-label 不由单个最近邻决定，而由所有 labeled preference relations 的相对对齐强度聚合决定。
和 prior 的本质区别在于：SURF 是 reward-model self-training，VOTP 是 representation-mediated label propagation；FTB 通过生成更优轨迹扩充数据，VOTP 不生成行为，只重标已有离线片段；active/query-selection 方法优化人工标注位置，VOTP 优化未标注数据的自动利用。
Method
方法中真正必要的机制只有几个。
第一，segment-level video embedding。它解决的是行为比较的表示问题：偏好通常依赖动作进展、接触阶段、运动趋势，而不是单帧外观。用 ViFM 编码整段轨迹，相当于把视觉时序结构作为 reward learning 前的 inductive bias。
第二，labeled preference matrix。论文把少量标注对转换成 skew-symmetric relation matrix R，而不是只保留 pair label。这一步的意义是把监督从“某一对 clip 的标签”提升成“已知片段集合中的方向性关系”，为后续 pairwise relation transfer 提供载体。
第三，OT coupling。它解决的是 labeled/unlabeled segments 的对应关系问题。相比最近邻，OT 带有边际约束，强迫匹配在集合层面分配质量，减少局部 hubness 和单 exemplar 过度复用。这里 OT 更像一种 global retrieval / soft matching 机制。
第四，relative alignment score。对一个未标注 pair，VOTP 比较它与每个 labeled preferred pair 的正向对齐和反向对齐差值，再用 R 聚合。如果正向强，继承偏好；如果反向强，翻转偏好。这个设计比“找最像的 labeled pair”更稳，因为它显式利用了 pair ordering 的反事实结构。
第五，threshold filtering。它不是核心创新，但很关键：低分 pseudo-label 被丢弃，避免弱对齐噪声污染 reward model。这里存在明显 quality-quantity tradeoff。
Key Insight / Why It Works
这篇最有价值的 insight 是：在 low-label PbRL 中，真正缺的不是更复杂的 reward loss，而是一个能把少量 preference relation 扩展到数据分布上的外部结构。ViFM latent space 提供结构，OT 提供传播机制，reward model 只是最后的压缩器。
方法有效很可能来自三件事的叠加。第一是 representation alignment：S3D/VideoCLIP/InternVideo 这类模型把“动作完成程度”“运动模式”“场景交互阶段”编码得比原始 state 或图像特征更可比较。第二是 memory reuse：offline dataset 中本来有大量未标注行为，VOTP 只是用少量 preference anchors 给它们排序。第三是 retrieval-style pseudo-labeling：很多 benchmark 的 reward 与视觉进展高度相关，例如开门幅度、抽屉位置、机器人移动姿态；在这种情况下，找到视觉上相似的 labeled behavior 足以推出偏好。
OT 部分的贡献更像 better inductive bias，而不是理论上必需的突破。它改善了 similarity propagation 的稳定性，尤其在 labeled set 很小时可避免 nearest-neighbor 的偶然错误。但从机制上看，它仍然是 soft retrieval + relation aggregation，不是学到了新的 reward semantics。
ViFM 可能是更核心的增益来源。消融显示 video encoder 优于 image encoder，说明 temporal representation 对 preference propagation 很重要。不过文中未充分说明不同 ViFM pretraining data 与机器人任务的 overlap 是否影响结果；如果 HowTo100M 中的动作语义与 manipulation/locomotion 视觉模式存在隐式对齐，这里可能存在 hidden supervision。
另一个直接判断：VOTP 的“泛化”主要是 distributional interpolation，而不是 out-of-distribution reward reasoning。它在 offline dataset 内做 pseudo-label；如果 dataset 没有覆盖好行为 manifold，或任务偏好依赖不可见变量，方法不会凭空补足。
Relation To Prior Work
最接近的谱系是 semi-supervised preference learning、label propagation、representation-based reward learning 和 OT-based matching。它不是传统 PbRL 的 reward modeling 改进，也不是 direct preference policy optimization，而是把 PbRL 监督搬到 foundation-model latent space 上做传播。
相对 SURF，真正不同在于 pseudo-label 的来源。SURF 依赖当前 reward model，因此低标签下会自我强化错误；VOTP 用冻结 ViFM + OT 作为外部 teacher，降低了 confirmation bias。相对 LiRE/listwise ranking，VOTP 新增的是未标注数据上的关系扩展，而不是更充分利用已标注偏好。相对 PEARL 或 OT imitation，VOTP 不做跨域偏好迁移，也不把 OT distance 当模仿 reward，而是在同域内用 OT coupling 做 preference relation transfer。
看似新的部分中，“用 foundation model 表示视频”“用 pseudo-label 扩充偏好数据”“用 OT 做软匹配”都不是单独的新概念；实质创新在于把它们组合成一个适配 PbRL 的 pairwise preference propagation operator，尤其是 Eq. 5 这种正反 alignment difference 的设计，把 segment matching 转成 pair relation matching。
Dataset / Evaluation
实验覆盖 D4RL locomotion、MetaWorld manipulation、视觉扰动场景和两个真机 tabletop manipulation 任务，范围对 offline PbRL 来说算比较完整。它确实验证了核心 claim 的一部分：在低反馈预算下，利用大量 unlabeled segment pairs 可以明显提升 reward learning，并且 ViFM+OT 比 reward-model self-labeling 更稳。
但 evaluation 也有明显边界。D4RL/MetaWorld 的偏好大多由 ground-truth reward 的 scripted teacher 生成，这会让“视觉进展”和“reward progress”高度一致，比较适合 VOTP。真实人类偏好实验有补充，但规模仍有限。真机只做 5/10 labels 和 2000/3000 unlabeled pairs，成功率提升有意义，但不足以证明复杂真实部署中的 robust alignment。
视觉扰动实验支持 ViFM 对 nuisance variation 有一定鲁棒性，但它仍是在同一任务、同一行为分布附近改变外观；这不能等价于跨任务泛化或跨 embodiment 泛化。总体而言，实验很好地支持“同域 offline dataset 内低标签扩展”这一 claim，不足以支持更强的“通用视觉偏好理解”。
Limitation
最关键限制是 ViFM latent space 必须与人类偏好方向一致。只要偏好依赖不可见信息、力觉、接触质量、长期后果、安全约束或任务特定细节，视觉相似性传播就可能给出错误 pseudo-label。论文承认 ViFM bias，但没有深入分析哪些偏好类型会系统失效。
第二，方法 heavily rely on data coverage。VOTP 不能创造新行为，也不能修复 offline dataset 缺失的关键状态；它只是更好地重用已有轨迹。核心能力可能主要来自数据覆盖，而不是 reward generalization。
第三，scalability 有上限。OT coupling 随 labeled/unlabeled segment 数增长而变贵，虽然当前实验中可管理，但如果扩展到百万级 clips 或持续在线更新，就需要近似/分层 OT。更重要的是，随着任务复杂度提升，uniform marginal 的匹配假设可能过强：不是每个 labeled segment 都应该被同等使用，也不是每个 unlabeled segment 都同等重要。
第四，增益归因仍不完全清楚。ViFM pretraining、unlabeled pair 数量、threshold filtering、OT global constraint、reward model 再训练都在同时起作用。文中做了部分消融，但还不足以精确说明 OT 相比强 retrieval baseline 在大规模强特征下的不可替代性。
第五，所谓 preference inference 更像 retrieval，而不是 reasoning/planning。它没有形成长期状态建模，也没有理解任务因果结构；如果两个视频视觉上相似但未来结果不同，VOTP 很可能无法区分。
Takeaway
- 1. 低反馈 PbRL 的关键突破口可能不是更强的 preference loss，而是找到一个可传播偏好的行为表示空间；foundation video representation 是很自然的外部结构。
- 2. 对 offline RL 来说，大量 unlabeled trajectories 本身就是可挖掘的 memory bank；少量偏好标签可以作为 anchors，通过 retrieval / OT / graph propagation 扩展为 dense reward supervision。
- 3. OT 在这里最值得迁移的不是 Wasserstein objective，而是“全局受约束的软匹配”这个 inductive bias：它比最近邻更适合把少量关系稳定传播到大规模未标注集合。
- 4. 未来真正值得做的是让 preference propagation 对不确定性、偏好类型和因果因素敏感，而不是继续堆更大的 ViFM；否则方法会停留在视觉相似性插值。
一句话总结
VOTP 是一类把 offline PbRL 从少量 reward-supervision 拟合转向 foundation-model latent space 中 preference relation propagation 的方法，真正贡献在于用 ViFM+OT 把低预算偏好扩展为大规模 pseudo-label，而不是提出新的 RL 或 reward-learning objective。