精读笔记

Problem Setting

论文关注的是 pretrained VLA 在 deployment / distribution shift 下的 runtime failure detection，尤其是连续动作输出模型中缺少可用 predictive probability 的场景。关键矛盾是：安全监控需要 epistemic signal，但主流 VLA 的输出端通常只能给 action chunk，或者最多给 stochastic samples；这些 samples 反映的是固定模型内部生成随机性，不一定反映模型是否理解当前场景。以前方法卡在三类依赖上：failure label、token-level likelihood、或 architecture-specific sampling。这里真正要解决的是如何在 frozen VLA 上，用一个通用 post-hoc probe 判断“当前状态是否落在模型知识边界附近”。

Motivation

作者的核心观察是，VLA failure under shift 往往不是模型犹豫，而是模型自信地沿着 memorized manipulation pattern 走错；因此 output sampling variance 会系统性低估风险。已有路线缺的不是另一个 uncertainty metric，而是一个不依赖输出分布、能触碰模型表示稳定性的 epistemic probe。hidden activation perturbation 的动机在于：如果当前视觉-语言表征和动作映射是稳健、充分学习的，局部扰动不应改变动作；反之，如果模型靠脆弱 shortcut 或处在 coverage 边界，局部扰动会导致动作分歧。

Core Idea

这篇的核心不是“加噪声再算方差”这么简单，而是把 VLA uncertainty 的建模对象从 action distribution 改成 local function variation。它假设 pretrained VLA 附近存在一族 plausible local models，而 hidden activation perturbation 是一种廉价地探索这族模型的方式。于是 failure detection 不再问“同一个模型能采出多少不同动作”，而是问“模型附近的局部变体是否同意当前动作”。

这个 inductive bias 很关键：sampling-based uncertainty 对 flow / generative policy 来说主要测的是 aleatoric 或 decoder-level stochasticity；activation perturbation 则更接近 representation-level epistemic instability。它因此更 scalable：不需要训练 ensemble，不需要 dropout training，不需要失败标签，也不需要 token probability；代价只是 K 次 forward 和选择扰动位置/强度。

Method

方法机制可以压缩为三步。第一，在视觉或视觉-语言 backbone 的 transformer MLP hidden activation 上注入 Gaussian noise；这一步解决的是 parameter posterior 无法采样的问题，用 activation-level local variation 近似 model variation。第二，对每个 perturbation sample 产生一个 action chunk，并在 action dimension 与 horizon 上计算 cross-sample variance；这一步把 representation instability 投影到实际控制空间，避免只看 hidden-space distance 而不知道是否影响动作。第三，用短 temporal window 聚合 per-step uncertainty，并以 rollout 内最大值作为 trajectory failure score；这一步承认 failure signal 通常是局部峰值而非全程均值，尤其在 manipulation phase 才显现。复用同一个噪声样本贯穿 rollout 也有意义：它让每个 sample 更像一个 temporally consistent local model，而不是每步独立的 measurement noise。

Key Insight / Why It Works

最可能有效的部分是：它测到了 action mapping 对 representation perturbation 的局部敏感性，而这种敏感性在 OOD 或 task ambiguity 下比 decoder sampling variance 更接近 failure risk。换句话说，论文真正利用的是 test-time compute 做 local robustness probing。它不需要模型知道自己“不知道”，而是通过扰动逼迫模型暴露其决策边界附近的不稳定性。

这更像 better inductive bias + test-time compute，而不是 scaling、retrieval、curriculum 或 long-horizon reasoning。核心贡献也不在 Bayesian 公式本身；Bayesian 解释更像合理化。真正有用的是把 perturbation 放在 backbone hidden activation、并在 action-space disagreement 上读出信号。temporal smoothing 和 max aggregation 是辅助，但可能对 AUC 有不小贡献，因为它把短时噪声峰值转成 trajectory-level separability。

需要直接指出：这不等价于严格 epistemic uncertainty。activation noise 是否对应 plausible parameter posterior 文中未充分说明。若模型在 shift 下进入一个非常稳定的错误 basin，例如强 shortcut、语言忽略、或训练数据中高频动作模板，方法可能不会报警。相反，如果某些成功轨迹本身需要精细接触操作，hidden perturbation 也可能放大出高 variance，导致 false positives。增益来源不清：可能来自 perturbation probing，也可能来自扰动层选择、σ tuning、以及 trajectory max 对失败片段的放大。

Relation To Prior Work

它最接近三条谱系：Bayesian approximate uncertainty、LLM/VLM perturbation-based reliability probing、以及 VLA runtime failure detection。和 deep ensemble / MC dropout 的差异在工程可用性：不训练多个模型，也不要求 dropout training。和 LLM semantic entropy 的差异在输出空间：这里不能依赖离散文本语义聚类，只能把 disagreement 落到连续 action chunk。和 FIPER / sampling-based generative policy 的本质差异在采样对象：prior 采样 fixed model 的 action generation noise，本文采样 representation-induced local model variants。

看似新的部分其实是已有思想的重组：activation perturbation 近似 epistemic uncertainty 在 hallucination / pretrained NN uncertainty 中已有先例；把方差作为 disagreement 也不新。实质创新在于把这套 probe 放到 VLA continuous action failure detection 上，并明确区分 stochastic action sampling 与 local model variation sampling。这使它成为一类 model-agnostic runtime monitor，而不是 VLA 架构内部的 calibrated confidence head。

Dataset / Evaluation

评估主要在 LIBERO 与 LIBERO-PRO，重点是 LIBERO-PRO 的 position / environment shift。这个选择基本对齐论文 claim：标准 LIBERO 上成功率高、失败少，不足以检验 uncertainty；LIBERO-PRO 更能制造模型 coverage 边界和 shortcut failure。论文也比较了 π0.5 与 OpenVLA-OFT，说明方法至少覆盖 generative flow policy 和 deterministic regression policy 两类 VLA。

但 evaluation 仍有明显上限。首先，没有真实机器人实验，simulation failure detection 与 deployment safety 之间还差 threshold calibration、latency、false intervention cost、闭环恢复策略。其次，AUC 是 threshold-free 的离线 separability 指标，不能证明在线系统能稳定选阈值。第三，early detection 只用 episode 前 70%，这不等同于真正的 actionable early warning；如果 uncertainty peak 已经发生在不可逆接触之后，安全价值会下降。第四，benchmark 是否覆盖语言误解、长程计划失败、遮挡、动力学 mismatch 等 failure mode，证据不足。

Limitation

最大限制是 epistemic 解释偏弱。hidden activation perturbation 能诱发 action disagreement，但这不自动说明它采样了合理 posterior；它更准确地说是 local sensitivity measure。方法依赖 perturbation magnitude 落在一个窄区间：太小没信号，太大变成破坏性噪声。这个尺度需要模型/层/任务调参，scalability 上限在这里。

第二，方法只能发现“不稳定的错误”，不能保证发现“稳定的错误”。很多 VLA failure 可能来自 dataset bias、language grounding shortcut、或 memorized manipulation template；这些情况下模型附近的局部变体可能高度一致，uncertainty 仍低。第三，它把 failure detection 问题转移成 perturbation design 问题：扰动哪一层、是否扰动 vision-only 还是 VL backbone、是否避开 action expert，这些都会影响结果，但文中机制归因不够细。第四，offline benchmark 的高 AUC 不等于 deployment robustness；缺少跨 embodiment、跨相机、真实干扰、在线 intervention 的验证。第五，增益来源不清，尤其 temporal max aggregation 可能放大了局部 outlier，使 separability 看起来更好。

Takeaway

• 最值得记住的不是具体 σ 或 K，而是：对连续动作 VLA，failure uncertainty 可以从 output stochasticity 转向 representation-to-action 的 local stability probing。
• 这个方向很可能会演化成一类通用 runtime monitor：不改 policy、不收失败标签，只在 test time 通过扰动、ensemble-like probes 或 Jacobian/sensitivity signals 估计风险。
• 可迁移 insight 有三点：第一，VLA 的 epistemic signal 应该在 action-relevant representation 层读取，而不是只看 decoder samples；第二，uncertainty 必须投影到控制后果上，hidden-space dispersion 本身不够；第三，failure detection 需要 temporal localization，trajectory-level max/peak often matters more than average uncertainty。
• 未来真正值得做的是自动校准 perturbation、分解 failure mode、以及把该 signal 接入 intervention policy，而不是继续只刷 offline AUC。

一句话总结

这篇论文把 VLA failure detection 从依赖输出采样或失败标签的路线，推进到一种 frozen-model、test-time、activation-perturbation-based 的局部函数稳定性检测方法；贡献更像实用的 epistemic proxy，而不是严格 Bayesian uncertainty 解法。