精读笔记

Problem Setting

SAPS: Shared Autonomy for Policy Steering by Blending Teleoperation with a Pretrained VLA（arXiv preprint / 2026）。这篇论文真正处理的是 pretrained VLA 的 deployment failure，而不是 VLA 训练或泛化本身。问题设定可以理解为：给定一个已经能在训练分布附近完成任务的 VLA，当测试时出现物体位置、对象绑定、任务指令或真实环境扰动导致策略进入错误吸引子时，如何在不重训、不改模型、不额外训练 dynamics / reward / verifier 的情况下，把策略实时拉回正确执行轨道。

真正困难点在于 VLA 的失败通常不是“完全不会动”，而是“会动但朝错地方动”：它仍有 grasping、placing、drawer/cabinet manipulation 等低层技能，但在 OOD 初始状态或语义扰动下会错误定位目标、执行旧任务、或陷入低效 recovery。已有 inference-time steering 往往需要进入 diffusion/flow sampling loop、设计 differentiable reward、训练 dynamics predictor、或引入 VLM reasoning module；这些方法在开放 VLA 或闭源/高层 API robot policy 上并不总可用，而且当 base policy 已经很强时，额外 steering 可能反而破坏正确轨迹。

因此关键矛盾是：需要人类的语义/空间纠错能力，但不想让人类承担完整 teleoperation；需要利用 VLA 的 motor prior，但不能相信它在 OOD 下的高层选择。

Motivation

作者的动机不是证明共享自主是新概念，而是指出在 foundation robot policy 时代，shared autonomy 的角色发生了变化：过去它主要是 assistive teleop 中帮助人类省力；这里它变成了 pretrained policy 的 test-time steering interface。

已有路线缺的是一个“模型无关、低侵入、实时”的纠偏机制。Policy steering 方法通常把 steering 信号塞进模型内部：diffusion denoising、trajectory sampling、latent reward、runtime verifier 等。这要求了解模型结构，且对不同 policy backbone 的迁移性差。另一方面，纯 teleop 虽然能恢复失败，但把原本 VLA 已学到的 manipulation prior 丢掉了，尤其在仿真中由于深度感知差，teleop 甚至比策略更慢。

作者的核心观察很朴素但重要：大量 VLA failure 是局部可纠正的。人不需要完整演示一条轨迹，只需要在关键时刻给一个粗方向，让 VLA 离开错误 attractor；之后 VLA 的 learned behavior 可以继续完成精细操作。这就是 SAPS 的缺口定位：不是替代 VLA，也不是训练更强 VLA，而是在执行层给 VLA 一个外部扰动通道。

Core Idea

核心思想是把 policy steering 从“模型内部的推理/采样问题”改写成“动作空间中的控制仲裁问题”。每个时刻 VLA 给出一个动作，人类 teleop 给出另一个动作，系统不问模型内部置信度、不估计任务进度、不显式推理目标，只决定最终执行动作更接近谁。这种建模方式的本质变化是：把人类输入当作在线 residual guidance，而不是完整控制源或训练数据。

这个设计引入的 inductive bias 是：VLA 的动作包含有用的低层技能 prior，人类动作包含更可靠的当前意图/纠错方向；两者在 action geometry 中的一致性可以作为“是否应该信任 VLA”的即时信号。Cosine arbitration 尤其体现这一点：如果人和 VLA 朝同一方向动，说明策略大概率在正确 basin 内，可以保留自主；如果方向相反或偏离，说明策略正在执行与人类意图冲突的动作，应让人类更强地接管。

和 prior 的本质区别不在算法复杂度，而在信息流位置：prior steering 多数在 sampler / planner / latent reward 内部注入约束；SAPS 在所有推理完成后、直接在控制输出层注入人类信号。因此它更 scalable 到任意 action-output policy，也更适合无法修改内部结构的 VLA。但代价是它只能纠正执行层可表达的偏差，无法真正改变模型的语义表示或长期计划。

Method

方法机制可以压缩成三个必要设计。

第一，post-inference action blending。冻结 VLA，每步取 VLA action 与 human action，在末端位姿增量空间做凸组合。它解决的是模型不可改、训练不可得、sampler 不透明的问题。核心变化是 steering 不再依赖 policy class：diffusion、flow、transformer action head 理论上都可接入，只要输出同一动作空间。

第二，intervention-gated autonomy。无人输入时完全执行 VLA；检测到人类输入时才进入共享控制。这一点避免了系统持续扰动 nominal policy，也使 human cost 可度量。它的机制意义是把人类输入定义为 event-based correction，而不是 always-on copilot。

第三，arbitration strategy。Takeover 是硬切换，适合策略明显错误时完全压制 VLA；fixed Blending 是简单共控，保留一半 VLA prior；Cosine 是动态共控，用人类动作和 VLA 动作的方向一致性决定自主权。Cosine 的关键不是 logistic 形式或具体斜率，而是把 action agreement 当作无需训练的 confidence surrogate。这个 surrogate 粗糙，但在局部纠偏任务中足够有效。

夹爪单独处理、键盘/手柄接口、阈值等更多是 engineering。它们影响可用性，但不是论文的核心机制。

Key Insight / Why It Works

这篇论文最重要的 insight 是：对于当前 VLA，很多失败并不需要重新规划或重新学习，只需要 test-time 把状态推回训练分布附近。SAPS 有效的根本原因是 VLA 已经学到了相当强的局部 manipulation manifold，人类输入只负责修正 manifold selection。换句话说，能力主要来自 pretrained VLA 的 data coverage；SAPS 提供的是 OOD recovery 的 low-bandwidth external supervision。

这不是 scaling 本身，也不是 retrieval，但它强依赖 scaling 后策略形成的 reusable motor prior。如果 base policy 很弱、没有可复用技能，SAPS 就会退化为 teleop 或和错误策略互相干扰。论文中 CALVIN DP baseline 上也能提升，是因为 DP 至少具备部分动作 prior；但其高 intervention rate 表明低容量 policy 下人类承担更多控制。

Cosine arbitration 可能是最实质的贡献，因为它比 fixed blend 更明确地编码了“方向一致性 = 可信任性”的 inductive bias。这个 bias 在 manipulation 中很自然：末端速度方向往往直接反映当前子目标。如果 VLA 正在去抓正确物体，人类粗控制和它同向；如果 VLA 去错物体或卡住，人类会给出不同方向。于是简单几何量就能近似一个复杂的 intent/policy-alignment 判断。

但也要直说：这里没有真正的 uncertainty estimation、semantic grounding repair 或 long-horizon planning。所谓 policy steering 更像 action-space damping/override。它之所以看起来强，是因为 benchmark failure mode 恰好大量是可由局部动作纠偏修复的 spatial/task binding error。对于需要隐式状态记忆、先后约束推理、不可逆安全判断或细腻接触模式切换的任务，Cosine agreement 很可能不够。

实验中 prior steering baselines 在强 π0.5 上变差也很有启发：当 base policy 已经强时，内部 steering 信号如果不精准对齐 failure mode，常常是负增益；而 SAPS 的优势在于人类只在看见错误时介入，减少了无意义扰动。这说明在高能力 foundation policy 上，test-time steering 的核心不是“更强约束”，而是“只在该约束时约束”。

Relation To Prior Work

SAPS 属于 shared autonomy 与 inference-time policy steering 的交叉，但更靠近经典 shared control 谱系，而不是新一代 VLM/diffusion steering。它和 Javdani-style shared autonomy、assistive teleop、residual copilot 的共同点是人机共控；区别是这里的 autonomous component 不是为某个用户/任务专门训练的 assistive policy，而是通用 pretrained VLA。

和 ITPS、DynaGuide、VLS、FOREWARN 等 steering 方法相比，本质差异是 steering 信号的位置和形式。那些方法试图在 latent trajectory / sampler / reward / reasoning 层改变未来动作分布；SAPS 只改变最终动作。前者理论上可以影响长期计划，但依赖模型内部可微/可采样结构和额外模型；后者表达力弱，但部署更鲁棒、跨 backbone 成本更低。

看似新的地方其实有一部分是已有思想重组：动作级 blending、takeover、shared autonomy 都不是新机制。实质创新在于把这些老机制重新放到 VLA deployment 场景，并明确证明：对当前 VLA 的常见 OOD failure，简单 action arbitration 已经能压过更复杂的 steering baseline。这是一个很实用的负面信号：很多复杂 steering 模块在强 foundation policy 上可能不是必要条件。

它与 π0.7 这类 verbal coaching / steerable VLA 也不同。后者试图让模型内部理解 steering instruction；SAPS 不要求模型理解人类纠错，只要求动作输出可混合。因此 SAPS 更像一层 universal execution-time adapter，而不是模型能力扩展。

Dataset / Evaluation

评估覆盖面相对扎实：LIBERO 控制空间扰动用于验证 object displacement 下 VLA 的性能随距离衰减；LIBERO-PRO 进一步加入 task/swap perturbation，测试语义目标绑定和空间重排；CALVIN 检查 long-horizon chaining 以及与 DP 上已有 steering 方法的比较；真机 Franka 用 DROID-trained π0.5 验证 sim-to-real 可用性。

这些实验基本支持论文的核心 claim：action-level shared autonomy 可以在不重训的情况下提高 perturbation robustness，并减少相对纯 teleop 的人类输入。尤其真机结果重要，因为它排除了“只是在仿真 teleop 困难下显得好”的部分疑虑。

但 evaluation 仍有明显边界。首先，任务数量和 operator 数量有限，且每个 benchmark 内基本使用单一 operator；人类因素没有系统建模。其次，LIBERO-PRO 只选了部分任务和两类 perturbation，文中未充分说明任务选择是否覆盖失败模式全谱。第三，很多成功可能来自任务可由局部几何纠偏解决，而不是证明 SAPS 能处理真实开放世界长时程任务。

另一个需要警惕的是 baseline interpretation：π0.5 在某些 LIBERO-PRO/真机任务上 autonomous 成功很低，SAPS 相对增益巨大，但这也意味着评估处在“策略有低层技能但高层 grounding 很差”的甜点区。若 base VLA 更强，headroom 会变小；若 base VLA 更弱，shared autonomy 可能退化为 teleop。论文没有充分画出这个能力区间的系统曲线。

Limitation

最核心限制是 SAPS 把泛化问题转移给在线人类，而不是让 policy 自身泛化。它提升 deployment reliability，但不提升 autonomous capability。没有 human-in-the-loop 时，系统没有任何机制知道自己错了。

第二，方法依赖 action-space linearity。末端位姿增量的凸组合在自由空间移动和简单 pick/place 中通常合理，但在接触丰富任务、双臂协作、动态对象、人形全身控制中，两个可行动作的线性插值未必可行，甚至可能产生危险中间动作。文中没有充分说明安全约束、力控、接触状态变化下的行为。

第三，Cosine confidence 是很弱的 proxy。动作同向不代表任务正确：策略可能和人类都朝某方向动但目标语义不同；动作反向也不一定代表策略错，可能是策略在执行必要的预备动作而人类短视纠偏。它没有 task progress、goal belief、uncertainty、contact mode 或 future rollout 信息。

第四，scalability 上限受人类 attention 限制。多机器人、长时程任务、高速控制或遮挡场景下，operator timing 和 situational awareness 会成为瓶颈。论文报告 intervention rate，但没有评估认知负荷、延迟敏感性、多人差异和错误干预后果。

第五，增益归因仍不完全清晰。SAPS 的成功来自人类纠偏、VLA learned prior、teleop interface、任务选择、还是 baseline failure mode 的组合，文中未充分拆解。尤其 Cosine 在 LIBERO-PRO intervention 更高但成功也更高，究竟是 arbitration 更好，还是人类更频繁介入带来的效果，仍有一定混淆。

Takeaway

• 1. 对当前 VLA deployment，最实用的 steering 可能不是更复杂的 VLM verifier 或 diffusion guidance，而是一个低侵入的人类 residual control channel。
• 强 policy 下，避免破坏正确轨迹比持续施加 steering 更重要。
• 2. Action agreement 是一个值得迁移的简单信号。
• 它可以作为无需训练的 alignment/confidence proxy，用在人机共控、policy ensemble arbitration、safety override、data collection filtering 等场景。

一句话总结

SAPS 是把经典 shared autonomy 重新定位为 pretrained VLA 的模型无关 test-time steering layer：它没有提升 VLA 的内生推理能力，但用动作级人类残差有效弥补了当前 foundation robot policy 在 OOD 部署中的局部纠偏缺口。