精读笔记

Problem Setting

这篇论文不是在训练一个更强的机器人策略，而是在解决随机机器人策略部署时的 test-time selection 问题：给定同一观测，策略能采样出多个 plausible action chunks，系统需要判断哪个候选更可能通向成功。困难点在于，闭环 manipulation 的失败经常不是语义级错误，而是毫米级 gripper alignment、contact timing、object pose drift、早期抓取不稳等微小差别；这些差别在视觉上接近成功，但动力学后果完全不同。

以前的 VLM critic、progress reasoning、success detector 大多卡在“粗粒度进度”上：能分辨初始/中间/完成，能理解高层子任务，却不能稳定判断两个都很接近目标的状态中哪一个已经失败。关键矛盾是：机器人控制需要局部、细粒度、policy-specific 的失败边界，而 foundation VLM 的 prior 主要是通用语义和互联网视觉分布，不包含某个具体策略的错误模式。

Motivation

已有路线不够的原因在于它们默认 progress 或 reward 可以从通用视觉语义中读出来，但真实部署里的失败往往是当前策略诱发的分布内偏差。BC policy 只看成功 demo，因此天然不知道自己的失败长什么样；off-the-shelf VLM 即使知道“杯子应放到垫子上”，也未必知道某个候选动作会把杯子推偏 2 cm 或导致抓取不稳。

作者真正抓住的缺口是：critic 不应该只学习任务目标，而应该学习 base policy 的局部错误分布。也就是说，critic 的监督来源不应是抽象目标描述或 demonstration keyframe，而应是同一初始条件下成功 rollout 与失败 rollout 的成对差异。这个设计把“失败是什么”从人工定义的 reward 变成了由策略自身暴露出来的数据分布。

Core Idea

核心思想是把 VLM 从一个通用进度估计器变成一个成对偏好 critic：输入两个候选未来视觉状态和任务描述，输出哪个状态代表更大 task progress。这里的关键不是 VLM 架构，而是监督组织方式：成功轨迹内部提供顺序进展信号，成功-失败 rollout 对提供细粒度 failure contrast，尤其要求它们来自相同或匹配初始条件，以消除物体 pose 和环境 variation 的干扰。

本质变化是建模对象从 absolute value/progress score 变成 relative preference boundary。这个边界更适合机器人部署，因为在线选择只需要在 K 个候选中排序，不需要校准一个跨任务、跨时间、跨环境的绝对 reward。它引入的 inductive bias 是：成功与失败的判别应当在同分布候选之间通过局部比较学习，而不是通过全局语义打分推断。相比 prior，这更 scalable 的地方在于只需要 terminal binary labels 或 rollout success/failure，不需要精确 dense reward；但它的 generalization 上限也被 failure coverage 强烈约束。

Method

方法层面真正必要的机制只有几个。第一，success-success pair 用成功轨迹中相隔较短时间的帧构造局部进展排序，解决 critic 对“朝目标推进”的基本方向感；但这部分本身不够，因为它只覆盖正常路径，无法定义失败边界。

第二，success-failure pair 是核心：从相同初始条件的成功和失败 rollout 中取时间对齐帧，让模型学习“在同样起点和相近阶段，哪种视觉状态更接近完成”。这一步把失败模式具体化为 policy/task/environment 三者交互产生的视觉差异，是论文区别于 ProgressLM/ROVER 这类泛化进度估计的关键。

第三，在线闭环时，策略先采样大量动作，再用 joint-space diversity pruning 保留少量候选；候选动作通过 action-conditioned video model 转成未来终态图像；critic 对所有候选终态做 pairwise voting。这个流程的机制意义是把低层动作选择问题转化为 VLM 擅长的视觉偏好比较，同时把计算预算用于 test-time best-of-K search。

第四，critic 不直接学习长期规划，也不回传梯度改策略；它只是对 base policy 已经能产生的候选进行 reranking。因此系统提升的上限由候选集中的 oracle best-of-K 决定，而不是由 critic 单独决定。

Key Insight / Why It Works

最重要的 insight 是：机器人 critic 的难点不是“理解任务目标”，而是“理解当前策略如何失败”。失败不是通用类别，而是 policy-conditioned distribution；同一个任务中，不同 policy 的失败可能完全不同。因此，把失败 rollout 纳入 critic 训练不是锦上添花，而是定义 decision boundary 的必要条件。success-only ablation 下降明显，基本验证了这一点。

方法有效更像是 better inductive bias + data coverage + test-time compute 的组合，而不是 VLM 突然具备了强物理推理。成对比较降低了绝对 reward 校准难度；匹配初始条件减少了 spurious visual variation；failure data 提供了局部负例；best-of-K 把已有策略分布中的成功样本挑出来。这套机制非常实用，但它的“reasoning”成分需要谨慎解读：很多能力可能是对常见成功/失败视觉模板的检索式判别，而非真正的因果物理建模。

最可能的核心贡献是 success/failure rollout pair construction，而不是视频模型、VLM finetuning 或 pairwise voting 本身。视频生成是为了把动作候选翻译成 critic 可读的视觉状态；pairwise voting 是标准 preference aggregation；VLM finetuning 是工程载体。真正新增的信息是：部署策略的失败分布被显式注入 critic。

哪些可能只是 engineering / scaling：使用大 VLM、大视频模型、8 A100、K=5/N=100、多任务训练，这些都提高了系统表现，但不构成概念创新。尤其在线真实世界提升依赖昂贵视频生成，且 latency 很高。若未来换成更快的 latent dynamics model，论文主机制仍成立，说明 video diffusion 不是本质贡献。

也要注意增益归因并不完全清楚：在线 success gain 同时受候选采样多样性、FPS pruning、video model accuracy、critic preference、任务难度和 rollout stopping rule 影响。critic offline accuracy 高并不自动等价于 policy improvement；一旦 video model 预测偏离真实后果，critic 实际是在优化 hallucinated future。

Relation To Prior Work

它最接近三条线：VLM-as-critic/reward、progress reasoning、test-time policy steering。和 SayCan/VLMPC/latent-alignment steering 的差异在于，本文不是用 VLM 提供粗语义可行性或高层 cost，而是训练 VLM 区分同一策略候选之间的细粒度成功/失败边界。和 ROVER/GVL/ProgressLM 的差异在于，本文不追求单帧绝对进度估计，而是做 rollout-derived pairwise preference；这使它更适合在线 reranking。

看似新的部分中，best-of-K sampling、pairwise preference learning、world-model-assisted action evaluation 都是已有思想重组。实质创新在于把这些组合到机器人 failure-aware critic 上，并指出 failure data 必须来自或至少覆盖当前 policy 的失败模式。它属于“test-time compute for robot policies”的技术谱系：不改变 base policy，而是在推理时用 critic 和预测模型重排候选。

和 RoboMeter 或 failure-aware recovery 的区别是目标不同：RoboMeter 更偏通用 reward/failure model scaling，本文更强调 policy-specific、fine-grained、closed-loop candidate selection。这个定位更窄，但也更锋利，因为它直接针对部署时策略分布内的可选动作。

Dataset / Evaluation

评估覆盖了仿真 RoboCasa/RoboCasa365、真实桌面 manipulation、LBM rollout 数据，包含 offline critic accuracy 与 online policy success 两类证据。真实世界实验是加分项，因为 claim 本身是 closed-loop manipulation，而不是静态视觉 benchmark。仿真中使用 GR00T N1.5 这类多任务策略，也说明方法不只依赖一个小型 diffusion policy。

这些实验基本支持“failure-supervised pairwise critic 能提升细粒度判别，并能在部分任务中转化为 policy gain”。但它们还没有完全证明强泛化：OOD 更多是同任务不同物体或相近任务，不是跨 embodiment、跨相机配置、跨物理材料的大迁移。unseen-task generalization 有价值，但可能仍受任务族、视觉模板、benchmark overlap 影响。

在线评估的 limitation 比 offline 更重要。真实任务数量较少，部分提升幅度有限；Push Bowl 用 mIoU 而非 binary success，和其他任务指标不完全一致；仿真中有些任务明显退化，说明 critic 并非稳定改进器。simulation candidate future 由 simulator rendering 提供，而 real world 依赖 learned video model，这两个设置的难度不对称，也让 real/sim 结果不完全可比。

Limitation

最大前提是 base policy 必须已经把成功动作放进采样支持中。critic 不能创造新行为，只能在候选里挑；如果 K 个候选都失败，系统无能为力。因此它更像 policy distribution refinement，而不是规划或能力扩展。

第二个上限是 failure coverage。critic 学的是训练 rollout 中暴露的失败边界，部署时遇到新失败模式、不同物体动力学、遮挡、接触不可见状态时，可能会高置信度误判。所谓泛化可能主要来自数据覆盖和视觉相似性，而不是抽象物理推理。

第三，方法把一部分难题转移给 action-conditioned video model。真实世界里 contact-rich manipulation 的关键差异往往发生在不可见力、微接触、grasp stability 上，视频模型可能 hallucinate 成功抓取或错误预测物体终态。此时 critic 优化的是生成模型的想象，不是真实未来。文中承认这一点，但没有系统拆分 video error 与 critic error 对最终失败的贡献。

第四，长期规划能力有限。critic 比较的是短 horizon terminal frames，并通过 receding horizon 重规划推进；这不是显式长期状态建模，也没有保证局部偏好会累积成全局成功。对于需要暂时远离目标、处理隐藏状态或多阶段约束的任务，pairwise progress preference 可能会过于 myopic。

第五，系统成本很高。真实部署中生成 5 个视频约 25 秒、critic 约 1 秒，依赖多 GPU；这使它更像验证机制的 research prototype，而非实用实时控制方案。若没有更快 world model 或 latent evaluator，scalability 会受限。

Takeaway

• 第一，机器人 critic 的监督应来自策略自己的成功/失败分布，而不是只来自专家成功 demo 或通用 VLM prior；这是可迁移到 reward modeling、failure detection、VLA reranking 的关键 insight。
• 第二，relative preference 比 absolute progress/reward 更适合 test-time action selection，因为在线只需要候选间排序，不需要跨任务校准；这可能会成为 VLA/BC policy 后处理的一条主线。
• 第三，这篇真正推动的是 failure-aware test-time steering，而不是 VLM reasoning 本身。
• 未来更值得做的是把 failure pair construction scale 到多 embodiment、多 policy、多环境，并研究 critic 是否能形成可迁移的 failure representation。

一句话总结

这篇论文把 VLM critic 从通用语义进度估计推进到 policy-specific failure-aware preference reranking，是 test-time compute 改善机器人策略的一种务实演化，核心贡献在于用成功/失败 rollout 对定义细粒度失败边界。