精读笔记

Problem Setting

论文《Self-Improving VLA Policies: Selected Diffusion Noise for Spurious-Robust Action Smoothing》（arXiv preprint / 2026）实际解决的是 frozen diffusion-based VLA 的 test-time robustness 问题：在不能 fine-tune、不引入额外 reward model、不重新训练 policy 的情况下，如何减少 spurious visual grounding 和 action jitter。

真正困难点在于这两个问题都不是单纯的低概率异常。hallucinated grasp、ghost placement、背景 shortcut 往往仍然落在模型的高概率 action manifold 附近；而 jerky motion 也可能语义上正确、甚至能完成任务。因此用 likelihood、language adherence 或单步 vector-field guidance 很难区分“看起来合理但物理/因果上错”的轨迹。

这篇的关键矛盾是：foundation VLA 已经有足够强的生成覆盖，但 sampling 时 mode selection 不可靠；部署端又无法承担重新训练大模型的成本。所以问题被重新表述为：能否只通过选择 diffusion noise seed，在不改变模型的情况下，从已有候选分布中挑出更 grounded、更 smooth 的 action chunk。

Motivation

作者对已有路线的不满很明确：CFG / ACG / WNG 这类 guidance 方法是在 denoising dynamics 里施加局部偏置，但负方向通常不是任务失败模式本身；best-of-N 方法需要 verifier 或外部 VLM / reward model，部署复杂且可能引入新的偏差；PCD 类视觉 contrastive decoding 能处理 grounding，但通常需要更重的图像扰动或 inpainting，并且没有直接约束物理 smoothness。

核心观察是：VLA 对目标物体是否可见高度敏感，但这种敏感性在失败 seed 上会消失。也就是说，有些 noise seed 会在目标被 mask 后仍然生成“自信”的任务动作，这类 seed 很可能依赖背景、语言先验或 demonstration shortcut，而非当前视觉证据。这个现象把 hallucination 从一个不可观测的语义错误，转化成了一个可测试的反事实一致性问题。

缺口不是“缺一个更强 policy”，而是缺一个 self-contained 的 test-time diagnostic：不用标签、不用 reward、不用 verifier，只利用同一模型在原始观测和破坏观测下的输出差异，判断哪个 noise seed 更可信。

Core Idea

SDN 的核心思想是把 diffusion 初始噪声视为 VLA 的可控自由度，而不是无意义随机性。对 flow / diffusion action head 来说，固定 observation 和 instruction 后，不同 initial noise 对应不同 action chunk mode。论文把 inference 从“采一个样本”改成“在 noise-induced trajectory set 上做选择”。这本质上是 test-time compute 换 robustness。

它引入的 inductive bias 有两个：第一，真正 grounded 的动作应该在原始观测下与其他正样本形成局部共识，同时远离目标物体被移除后的负样本分布；第二，真实机器人执行中，低 jerk 轨迹比高频震荡轨迹更可信。前者是视觉反事实 grounding bias，后者是物理可执行性 bias。

和 prior 的本质区别不是“也做了 best-of-N”，而是 selection criterion 不依赖外部 evaluator，而由 policy 自身在 corrupted input 下的行为构造出来。它把外部 verifier 的角色弱化为一个内部 contrastive probe：同一个 frozen model 同时提供正分布和负分布。这使方法更 plug-and-play，也更容易跨 VLA backbone；但代价是它只能筛选已有能力，不能创造新策略。

Method

方法上真正必要的机制只有三点。

第一，构造正负候选 action set。正样本来自原始 observation，负样本来自目标物体 zero-mask 后的 observation。它解决的是 failure labels 缺失问题：作者没有显式定义 hallucination，而是用“目标不可见时仍产生相似动作”作为 hallucination proxy。这个 proxy 很粗，但部署上便宜，并且比无条件 CFG 更贴近视觉 grounding 失败。

第二，用 kNN density-ratio surrogate 做 grounding selection。对每个正候选，计算它到正样本邻域的距离和到负样本邻域的距离，偏好正分布密、负分布稀的位置。机制上，这是在 action chunk 空间做一个非参数的 contrastive scoring：保留“被原始观测支持、但不被 mask 观测支持”的 seed。这里的核心变化是从 step-wise guidance 转向 trajectory-level global ranking。

第三，在 top grounded candidates 中最小化 JerkRMS。它解决的是语义正确但动力学不稳定的问题。这个阶段没有复杂建模，实际上是把机器人运动学先验作为最后的 tie-breaker。它的价值在于直接作用于生成出的 action chunk，而不是通过修改 attention 或 vector field 间接诱导 smoothness。

需要注意：这些都不是训练机制，也不是 representation learning；SDN 的能力完全来自 candidate generation + ranking。

Key Insight / Why It Works

这篇最重要的 insight 是：VLA 的一部分失败可以通过“对目标视觉证据的反事实敏感性”在 test time 被检测出来。一个好的候选轨迹不应该只是在原图下 high-likelihood，还应该在目标被移除后变得不像自己。这个 criterion 比普通 likelihood 更接近 causal grounding，虽然它不是严格因果。

方法有效的真正原因大概率有三层。第一，diffusion / flow action head 的 noise seed 确实覆盖多个局部 action mode；只要正确 mode 已经在采样支持内，best-of-N 就能提升 mode selection。第二，object-mask negative set 提供了比 unconditional 或 white-noise perturbation 更有语义的负方向，因此比 CFG/WNG/ACG 更不容易把轨迹推到 OOD action region。第三，jerk minimization 是一个强而简单的 robotics prior，能过滤掉许多生成模型常见的高频 artifacts。

最可能的核心贡献是 Stage 1 的 self-diagnostic contrastive selection：用同一 policy 的 corrupted-observation outputs 近似 failure distribution。这比“多采样后选最平滑”更有新意。Stage 2 则更像实用但有效的 engineering prior；它在真机上很重要，但不是概念上最原创的部分。

这不是 scaling，也不是 retrieval；更准确地说，它是 test-time compute + better inductive bias。它没有改进模型的 latent structure，只是在 latent-to-action 映射已存在多样性的前提下，利用额外采样和反事实扰动进行重排序。所谓 self-improving 更应理解为 self-filtering，而不是模型能力自增长。

需要警惕的是，增益归因并不完全清楚。论文给出 Stage 1/Stage 2 ablation，但没有充分证明成功率提升主要来自 hallucination suppression，而不是更一般的 best-of-N smoothing 或 candidate averaging 效应。kNN density estimation 在高维 action chunk 上理论上很脆，实际可能依赖 N 小、action manifold 低维、任务较简单这些隐含条件。

Relation To Prior Work

这篇最接近三条线：diffusion policy 的 inference-time guidance、best-of-N / verifier-based selection、以及 PCD 这类 contrastive visual grounding。

相对 CFG / ACG / WNG，SDN 不直接改 denoising vector field，而是在完整 action chunk 生成后做 global selection。这避免了 guidance scale 的局部不稳定，也减少了把轨迹推离训练分布的风险。换句话说，它不是 steer dynamics，而是 select seed。

相对 standard best-of-N，SDN 的新增信息是 negative observation distribution。普通 best-of-N 通常需要外部 reward、VLM verifier 或 likelihood proxy；SDN 的评分来自原图与 object-masked 图诱导出的 action 分布差异，因此更 self-contained。

相对 PCD，二者都利用 object removal / masking 来压制 spurious grounding，但 PCD 更像 decoding-time contrastive steering，SDN 更像 trajectory-level noise selection。SDN 的优势是简单、便宜、可加 smoothness criterion；劣势是它不改变每一步生成过程，只能从采样到的候选中选。

看似新的部分中，best-of-N、反事实 mask、smoothness filtering 都不是单独新思想；实质创新在于把这三者组织成一个不依赖外部 evaluator 的 diffusion-noise selection framework，并把 mask-induced action distribution 当作 failure proxy。

Dataset / Evaluation

评估覆盖了模拟和真机，且跨了 π0、GR00T-N1.5/N1.6 等不同 backbone，这对“plug-and-play wrapper”这个 claim 是有支撑的。SIMPLER 上 Google Robot / WidowX 任务能测试一些常见 manipulation failure，真机 ALOHA 的两个任务也能说明 smoothness 指标不是纯离线 artifact。

实验最有价值的部分不是平均成功率提升，而是两个现象：mask target object 后 base policy 性能显著崩溃，说明视觉目标确实是强依赖变量；以及真机上 SDN 同时提升 success 并降低 jerk / ATV，说明它不是单纯用更激进动作换成功率。

但 evaluation 也没有完全验证核心 claim。首先，真机任务只有两个，且都相对 object-centric；这天然适合 object masking。其次，SIMPLER 与大规模 VLA pretraining 数据可能存在任务/场景风格重叠，泛化 claim 需要谨慎。第三，缺少对目标检测/分割失败、复杂遮挡、多目标歧义、动态 lighting/texture shift 的系统评估，而这些正是作者在 limitation 中承认 object-centric corruption 可能覆盖不到的情况。

总体上，实验足以证明 SDN 是一个实用的 test-time improvement trick；还不足以证明它是通用的 spurious-robust reasoning mechanism。

Limitation

核心前提一：目标物体必须能被可靠定位。SDN 把 grounding 问题转移给 Grounding-DINO / SAM2 这类外部 perception 模块；虽然不需要外部 verifier，但并非完全没有外部依赖。若检测错、mask 错对象、或任务目标不是单一 object region，Stage 1 可能构造错误负样本。

核心前提二：object-mask negative distribution 必须接近 hallucination failure distribution。这个假设并不总成立。很多 spurious correlation 来自 lighting、camera pose、texture、robot state、demo phase prior，而不是目标 object absence。此时 mask 只能制造一种特定 OOD，不一定能诊断真实部署 failure。

核心前提三：正确且平滑的轨迹必须已经在 base policy 的 sampling support 中。SDN 不学习新技能、不扩展 action manifold、不修复缺失知识。若 base VLA 根本不会某任务，增加 noise candidates 只是在错误分布中挑一个更平滑的错误。

scalability 上限也明显：候选数 N 带来线性 inference cost；高维 action chunk 中 kNN density-ratio 的统计可靠性有限；多阶段长任务中逐步选择局部 action chunk 不等价于长期 plan consistency。文中所谓 self-improving 更像局部自筛选，不是长期状态建模或在线适应。

增益来源仍有不清楚之处。Stage 2 在真机 ablation 中贡献很大，说明一部分成功率可能来自 motion smoothing 而非 spurious robustness。论文没有充分隔离“更多采样”“更平滑”“更 grounded”三者各自的 causal contribution。

Takeaway

• 1. diffusion noise seed 在 VLA 中不应只被看作 stochasticity；它可以是 test-time search 的控制变量。
• 未来很多 frozen-policy adaptation 可能都会走“candidate generation + self-diagnostic selection”路线。
• 2. 反事实输入扰动可以把 hallucination 从语义判断问题转成分布差异问题。
• 这个 insight 可迁移到其他 embodied model：不是问模型输出是否正确，而是问输出是否对关键证据敏感。

一句话总结

SDN 是一种把 diffusion VLA 的随机噪声采样升级为反事实 grounding + 运动学先验的 test-time seed selection 方法，核心贡献在于用冻结模型自身的 object-masked 输出构造 failure proxy，从而在不训练、不加 verifier 的情况下改善 mode selection。