精读笔记

Problem Setting

论文标题：Visual Verification Enables Inference-time Steering and Autonomous Policy Improvement（arXiv preprint / 2026）。

这篇论文实际处理的是 generalist robot policy 部署后的改进问题：不是如何从零训练一个更强的 VLA，而是在已有 π0/π0.5 这类生成式策略上，如何用尽量少的人类监督提升成功率，并把部署经验转化成后续训练数据。

关键矛盾是：机器人数据贵，但 inference compute 相对便宜；policy 已经从大规模数据中学到很多可行 affordance，但默认执行时经常选不到正确模式。传统 imitation learning 的问题是 expert data 与 learner visited states 不匹配，DAgger 类方法需要人类不断标注 on-policy states；而纯 offline policy improvement 又缺少对真实部署错误分布的覆盖。本文试图用 verifier 替代人类 supervisor：让机器人自己采样多个候选动作，自动筛掉坏的，留下成功 on-policy data。

真正困难点不是 best-of-N 本身，而是 robotics 中 verifier 很难做：语言任务可以静态检查答案，机器人 action 的后果依赖物理、视角、接触和时间。作者选择绕开完整 dynamics modeling，用视觉空间的几何进展作为弱但便宜的 verification signal。

Motivation

已有路线不够的地方很明确：

1. 继续收集专家示教不可扩展。robot foundation models 的数据瓶颈本质上是 human expert time 线性增长。 2. human-in-the-loop / DAgger / shared autonomy 虽然解决 covariate shift，但把瓶颈移到了在线人工干预。 3. learned value / verifier 方法通常需要额外训练，且 verifier 本身可能受限于离线数据分布；它们更像 deployment-time performance boost，不自然地产生可用于 self-improvement 的数据闭环。 4. VLA 内部 reasoning 或 embodied CoT 需要在预训练/后训练阶段注入显式中间监督，不适合作为现成 policy 的 plug-in improvement。

作者的核心观察是：生成式 robot policy 的 stochasticity 不是噪声，而是潜在策略集合。许多失败并不是 policy 完全不知道怎么做，而是采样/解码时没有可靠选择机制。如果能用一个便宜 verifier 从候选中挑出更 task-aligned 的 chunk，就可以把 inference-time compute 换成成功率。更重要的是，这些被 verifier 选中的轨迹天然是 on-policy、可执行、机器人自己能产生的，因此比离线专家数据更贴近 policy support。

Core Idea

核心思想是把机器人策略从“直接输出动作的 controller”改写成“动作候选生成器”，再把任务对齐判断外包给一个视觉 verifier。这个 decomposition 改变了信息流：policy 只负责提出在其 action prior 内的可行动作；verifier 不学控制，只判断候选动作是否沿着任务相关视觉进展前进。这样，语义/空间 reasoning 不必塞进 policy 参数，也不必训练一个 embodied critic，而是在 test time 以显式选择形式介入。

这个 inductive bias 很强：正确 manipulation 往往在图像上表现为 end-effector/gripper 沿某条合理空间路径靠近、接触、搬运目标。VLM 负责把语言指令和初始图像转换成一个像素级 reference trace；之后 verification 退化成几何一致性检查。它牺牲了完整物理建模，但换来跨任务、低延迟、无需训练的选择信号。

和 prior 的本质区别在于，VERITAS 不是只做在线 steering，也不是只做自动数据收集，而是把两者闭环：test-time verifier 先提升执行成功率，再把成功轨迹作为 self-imitation 数据蒸馏回 policy。这里的新增信息不是更复杂的 planner，而是一个可复用的数据生成机制：用外部 verifier 把 policy support 中的高质量区域采出来。

Method

方法层面可以压缩成三个必要机制。

第一，stochastic generator + best-of-N action chunks。policy 每次不是输出一个动作，而是采样 N 个短 horizon action chunks。chunk 很关键，因为单步 action 不足以表达 intent，也很难判断是否朝任务目标前进；chunk 级别让 verifier 比较的是短程行为片段，而不是局部控制噪声。

第二，visual trace verifier。VLM 在 episode 初始帧上根据 instruction 生成 5–10 个像素 waypoint，或者生成对象参考 waypoint 后由 tracker 动态解析。在线阶段不再调用 VLM，而是根据 end-effector 投影与当前 waypoint/trace 的距离、进度、hold time 等计算 score。这个设计解决的是实时性问题：semantic grounding 只做一次，在线 scoring 是 cheap geometric filtering。

第三，verified rollout distillation。所有经 verifier-guided execution 且最终成功的轨迹被收集成 Dauto，用标准 BC fine-tuning policy。它解决的是 test-time compute 不可持续的问题：best-of-N 的选择偏好被压进 policy 分布，理论上后续可以更少依赖采样。

几个模块如 heuristic FSM、VLM-Constraints verifier、RoboMonkey 对比主要用于说明 verifier interface 的可替换性；论文真正的方法贡献不是某个 waypoint prompt，而是 generator-verifier-data-flywheel 这个闭环。

Key Insight / Why It Works

这篇最重要的 insight 是：generalist robot policy 的错误不一定来自能力缺失，而可能来自采样选择缺失。对于 diffusion/flow matching VLA，模型学到的是多模态动作分布；默认部署相当于从这个分布中拿一个样本或低方差样本。若正确行为在 distribution support 内但概率不高，best-of-N + verifier 可以显著提高命中率。这是典型 test-time compute scaling，而不是 policy 本体 reasoning 能力突然增强。

为什么 visual verifier 能工作？因为许多 tabletop manipulation 的成功轨迹在 2D 图像中有稳定的低维结构：靠近 source、移动到 target、释放/对齐。VLM trace 提供了一个 task-conditioned spatial prior，把高层语言目标压缩为可度量的像素路径。之后 verifier 做的是 representation alignment：把 action candidates 的未来短程 motion 与这个视觉 latent structure 对齐。它不需要知道精确动力学，只要候选动作已经由 policy 保证大致物理可行。

最可能的核心贡献是 action-prior-constrained verification：verifier 不是在任意 action space 中规划，而是在强 policy prior 提供的候选集合内排序。这大幅降低 verifier 难度，也解释了为什么简单几何 verifier 也能有收益。换句话说，policy 负责 feasibility，verifier 负责 task alignment，两者分工互补。

哪些部分可能只是辅助或 engineering：VLM absolute waypoint、min_hold、skippable、FSM、tracking 等大多是让 verifier 在具体平台上可用的工程化设计。性能提升中相当一部分可能来自 N 次采样的 scaling，而不是 VERITAS verifier 的独特语义能力；论文虽然比较了 V-GPS/PIVOT/RoboMonkey，但对“采样多样性”“成功筛选”“VLM trace 质量”三者的独立贡献拆解仍不充分。

self-improvement 的有效性也可解释为 filtered behavior cloning，而不是自主发现新技能。它会强化 policy 已经能偶尔做到的行为，把低概率成功模式变成高概率模式。这很有用，但上限清楚：如果正确行为不在 generator support 内，verifier 没有办法凭空生成。

Relation To Prior Work

这篇属于 test-time scaling for robot policies + self-imitation/data flywheel 的谱系，最近邻包括 V-GPS、RoboMonkey、runtime reasoning-action alignment、world-model/VLM-in-loop steering，以及 human-in-the-loop DAgger。

相对 V-GPS，VERITAS 的差异是不用训练 language-conditioned value function，而用 VLM-generated visual trace + geometry score 作为 plug-in verifier。它避免了 value learning 的数据依赖，但也牺牲了对不可见长期后果的建模能力。

相对 RoboMonkey，核心差异是 action chunk 级 semantic selection，而不是单步局部 perturbation refinement。RoboMonkey 更像在 policy output 附近做局部纠错；VERITAS 尝试在多个短程策略片段之间选择，因此更接近 reasoning trace selection。不过文中 RoboMonkey 对比存在设置差异，作者自己也承认 single-step vs chunk-level 的 architectural mismatch 会影响结论。

相对 embodied CoT / reasoning VLA，VERITAS 不训练 policy 去显式推理，而是把 reasoning 外置到 verifier。这个点实质上更 scalable：可以直接接在已有 policy 上，不需要重新预训练。但所谓 reasoning 主要是 VLM 生成静态 waypoint，离真正闭环 planning 仍有距离。

相对 DAgger/shared autonomy，它把 human expert 替换成 automated verifier。这个替换是实质创新点之一，但也意味着监督质量由 verifier bias 决定；它不是消除了监督，而是把监督源从人转移到 VLM+视觉几何假设。

Dataset / Evaluation

实验有两个层次：simulation 中用 BridgeData/SimplerEnv 风格任务验证 verifier 设计和 offline improvement；真实世界在 DROID 平台上用 π0-DROID/π0.5-DROID 做若干 manipulation tasks，并比较 autonomous verified data 与 human teleop data 的 fine-tuning 效率。

这些实验基本支撑了论文的局部 claim：在 quasi-static tabletop manipulation、已有 strong generalist policy、任务可由视觉路径描述的情况下，best-of-N verification 能提升成功率，且成功轨迹能用于有效 fine-tuning。真实机器人实验是加分项，因为它说明不是纯 simulator artifact。

但 evaluation 对更强 claim 的支撑有限。任务数量不大，真实世界每个 policy 只有少数任务；任务类型主要还是 pick/place/insert/put into 等视觉几何结构明显的 manipulation。它没有充分验证动态环境、强接触、长时序、多阶段隐藏状态任务。数据效率对比 human demos 很有价值，但需要谨慎：autonomous data 是经过 verifier 和最终成功过滤的 on-policy data，人类数据的质量、分布、采集策略是否完全可比，文中未充分说明。

benchmark leakage 或 implicit memorization 也不能完全排除。π0/π0.5 和 Bridge/DROID 预训练可能已经覆盖相似任务模板；VERITAS 更像把已学 affordance 重新筛出来，而不是证明新任务泛化。

Limitation

最核心限制是 support constraint：verifier 只能从 policy 提出的候选中选最好的，不能产生 policy 不会的行为。因此方法上限由 base policy 的 exploration prior 决定。若 base policy 对某任务没有正确 mode，增加 N 只会更快暴露失败分布。

第二，visual trace 假设很强。绝对像素 waypoint 对相机视角、遮挡、目标移动、gripper/EEF 检测质量敏感；动态 reference tracker 缓解了一部分，但仍依赖对象可见和可跟踪。对于需要 force reasoning、精细接触、不可见状态或非单调进展的任务，2D trace score 可能给出错误偏好。

第三，长期 planning 可能是假象。当前 verifier 并没有维护丰富 belief state，也没有预测物理后果；它只是检查短程 motion 是否贴近 VLM 初始计划。对于 quasi-static manipulation 够用，但不能等同于 autonomous planning。

第四，self-improvement 可能放大 verifier bias。只收成功 verified rollouts 会形成 selective dataset；如果 verifier 偏好某种轨迹风格，fine-tuning 会收缩 policy 多样性，未来可能降低探索能力。文中没有系统分析多轮 self-improvement 是否会 collapse。

第五，增益归因不完全清晰。性能提升可能来自 N 次采样、VLM trace、几何约束、成功过滤、on-policy BC 的组合。文中有 verifier ablation，但还不足以严格分离 scaling / data coverage / verifier semantic quality 的贡献。

Takeaway

• 1. 对 robot foundation policies，一个很实际的方向是不要把所有 reasoning 都塞进 policy，而是把 policy 当作 proposal distribution，用外部 verifier 做 test-time selection。
• 2. 最值得迁移的 insight 是“feasibility from policy prior, task alignment from verifier”。
• 只要 generator 已经保证候选大致可执行，verifier 可以很弱、很便宜、很任务条件化，也能产生有效选择信号。
• 3. 真正推动点不是 VLM waypoint prompt，而是把 inference-time steering 变成 data engine：test-time compute 不只是临时提升，还能通过 verified self-imitation 被蒸馏。

一句话总结

VERITAS 是一类把生成式 VLA 的多样采样、VLM/几何视觉验证和 self-imitation 数据闭环结合起来的 test-time scaling 方法，真正贡献在于把部署时的动作选择变成可蒸馏的自主改进信号，而不是提出了新的底层控制或通用规划器。