精读笔记

Problem Setting

论文标题：Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering（arXiv preprint / 2026）。

这篇论文处理的不是 VLA 训练问题，而是 frozen pre-trained VLA 的外部 steerability 问题：底层策略不更新，只通过改变输入语言来改变行为。具体地，作者关心当原始 instruction 不能稳定触发正确行为时，能否学习一个 test-time language feedback policy，在每个 replanning step 输出更合适的语言，从而提升闭环任务成功率。

真正困难点有三个。第一，语言空间巨大，不能靠穷举 prompt。第二，VLA 的语言条件映射不是语义平滑的；“意思差不多”的句子不一定诱导相近动作。第三，不是所有失败都能通过语言修复：有些任务在 VLA 的行为 support 之外，有些模型对语言条件本来就不敏感。因此关键矛盾是：语言是最便宜、最抽象、最可复用的控制接口，但它的控制权不可靠且边界未知。

以前路线卡在两端：直接 fine-tune VLA 会进入 action-space adaptation，样本贵、易过拟合、可能破坏已有能力；纯 prompt engineering / open-loop prompt optimization 则没有闭环状态反馈，也没有安全拒绝机制。本文试图在中间找一个位置：不动 VLA，只学习“该对 VLA 说什么，以及什么时候不要说”。

Motivation

作者的核心观察是：很多 VLA 失败并不一定说明底层 skill 缺失，而可能是语言索引失败。一个 VLA 可能会 pick、place、close drawer，但用户原始指令没有把这些行为以模型容易响应的方式组织出来。换句话说，语言在这里更像访问 pretrained skill library 的索引，而不是人类语义意义上的任务规格。

已有方法缺的不是一个更强语言模型来 paraphrase 指令，而是闭环验证和拒绝。LLM 可以生成看似合理的子目标描述，但 VLA 是否按这个描述行动只能通过 rollout 知道。并且即使某些语言在训练场景有效，部署时也可能伤害本来已经能成功的 base VLA。因此必须把“如何 steer”和“是否 steer”拆开处理。

这也是论文想到 conformal refusal 的原因：精确生成能提升性能的语言序列很难，但判断当前场景中 steering 是否可能带来正增益相对简单。这个不对称性是整篇论文较有价值的动机，而不是单纯做 prompt search。

Core Idea

论文的核心思想是把语言变成一个闭环 action space。传统 VLA 使用固定 task instruction 作为条件；本文外接一个 LFP，根据当前 observation 输出当前应该喂给 VLA 的语言 action。于是系统变成两层策略：上层语言策略选择语义子目标/行为描述，下层 frozen VLA 将其转成 action chunk。

这改变了建模方式：学习不再发生在高维连续动作分布上，而发生在语言描述空间中。只要 frozen VLA 已经学过相应低层技能，语言 steering 就相当于在 VLA 已有行为 manifold 上重新寻址和组合。这解释了为什么它可能比直接 VLA fine-tuning 更省样本，也更不容易破坏 OOD 上已有能力。

另一个核心点是“mostly harmless”：作者不假设语言 steering 总是有益，而是显式学习 improvement predictor，并用 conformal prediction 选择更保守的 steering threshold。这个机制把语言控制从无条件 intervention 变成 selective intervention。与 prior prompt optimization 的本质区别在这里：不是找到一个好 prompt 后始终使用，而是学习一个带拒绝能力的闭环语言控制器。

Method

方法中值得保留的机制只有几层。

第一，narrated fine-tuning 用 VLM 给机器人视频生成逐步语言描述，训练一个初始语言 policy。它解决的是搜索空间问题：直接在开放语言空间里找 prompt 不现实，所以先把搜索限制到“机器人当前看起来在做什么 / 应该做什么”的局部语义邻域。这个阶段本身不是最终能力来源，实验也显示 SFT narration 可伤 OOD；它更像 proposal distribution。

第二，interactive language search 用 LLM 对整条语言轨迹做 trajectory-level perturbation，然后通过真实 closed-loop VLA rollout 估计相对 base instruction 的 improvement。这个机制解决的是语言语义和 VLA 行为不一致的问题：不能相信 paraphrase 的表面语义，只能看它实际诱导的行为。选择高 improvement 序列再蒸馏进 LFP，本质上是 expert iteration / rejection fine-tuning 在语言 action 空间里的版本。

第三，improvement head 学习预测某个初始 observation 和 task 下，LFP steering 相比 base VLA 是否有正增益。它解决的是不可 steer / OOD 场景中的负迁移问题。重要的是，head 不需要知道最优语言，只需判断是否值得 intervention。

第四，conformalization 将 threshold 从 ψ≥0 改为一个基于 harmful calibration examples 的高阈值，控制 harmful examples 上错误允许 steering 的概率。它带来的核心变化是把方法从“通常有帮助的 wrapper”变成“在校准分布下有 false-positive 控制的 wrapper”。这不是生成能力提升，而是部署策略变保守。

Key Insight / Why It Works

最重要的 insight 是：对 VLA 来说，语言不是纯语义通道，而是行为分布的控制旋钮。优化语言的目标不应是语义忠实，而应是最大化 closed-loop reward。本文有效的原因在于它承认并利用了这一点：用 rollout 而不是语义相似度来筛选语言。

核心贡献更可能是“交互式搜索 + 蒸馏 + calibrated refusal”的组合，而不是任何单个模块。narration prior 只是降低搜索熵；LLM perturbation 只是生成候选；真正让系统可靠的是通过 VLA rollout 发现哪些语言真的触发好行为，以及部署时不在低置信场景触发。换句话说，方法本质上是在做 test-time compute 和 data-driven interface alignment，而不是让 VLA 具备新 reasoning。

为什么比 VLA fine-tuning 省样本？因为它没有重新学习视觉-动作映射，而是在复用 pretrained VLA 的 low-level policy。语言层的样本复杂度更低，前提是目标行为已在 VLA 的 support 内。这也是它的上限：如果 support 不存在，语言不会变魔法。

trajectory-level closed-loop perturbation 比 phrase-level 更好也符合直觉：VLA 执行长程任务时需要的是一串相互一致的语言子目标，而不是局部短语的独立替换。sequence-level search 给了更强 temporal coherence inductive bias，避免每一步语言看似合理但整体策略不一致。

conformal head 的意义不在于预测 improvement 很准，而在于用 harmful-class calibration 把 false steering 压下来。这里的技术判断是：这是本文最可迁移的部分。许多 robot foundation model wrapper 都会遇到“intervention 有时提升、有时伤害”的问题；比起追求一个万能 controller，先学会 abstain 往往更现实。

需要警惕的是，很多增益可能来自数据覆盖和 benchmark 结构。LIBERO / tabletop tasks 的语言可分解性很强，动作技能也多在 base VLA 中已有；所谓 composition 很可能是已有 pick-place skill 的重新组合，而不是真正的长期规划能力。文中对 improvement 来自语言语义、更高 test-time compute、on-policy rollout selection、LLM candidate quality之间的归因拆得还不够细。

Relation To Prior Work

这篇论文最接近三条线：prompt optimization for robot policies、hierarchical language-conditioned control、以及 safe / selective intervention。它不是典型 VLA improvement paper，因为它不更新 VLA；也不是普通 LLM planner，因为它不把语言计划直接执行，而是把语言作为 frozen VLA 的条件输入。

和 open-loop prompt optimization 的本质区别是闭环化和蒸馏化。open-loop 方法找到一个 rewritten instruction 后全程使用；本文的 LFP 根据当前 observation 反复生成语言，因此可以处理执行进度和中途扰动。这个差异在机器人任务中很实质，因为错误恢复往往依赖当前状态而不是初始 instruction。

和 direct VLA fine-tuning 的区别是干预层级不同。VLA-SFT 修改 action policy，容易带来分布外行为漂移；本文修改语言接口，尽量保持底层 policy 不变，因此更像 skill routing / behavioral indexing。这个差异解释了样本效率和 OOD 保留能力。

和 latent steering / activation steering / action guardrail 相比，本文选择最外层、最可解释、最低侵入的控制通道。但这也意味着控制带宽有限：语言能控制什么完全取决于 VLA 的语言敏感性和训练时语言-行为对齐。

看似新的部分其实有不少是已有思想重组：narration SFT 类似 video caption supervision，interactive search 类似 expert iteration / rejection sampling，conformal refusal 是标准 class-conditional conformal prediction。实质创新在于把这些组件组织成一个面向 frozen VLA 的语言控制闭环，并明确把 harmlessness 作为部署目标，而不是只报告平均成功率。

Dataset / Evaluation

评估覆盖了仿真和真机，这是优点。仿真使用 LIBERO-OOD 风格的视觉扰动、语义扰动和少量行为组合；硬件在 Franka 桌面任务上测试训练任务、视觉/语义扰动和两个 unseen tasks。整体上足以支持“在已有 VLA skill 范围内，语言 steering 可以提升执行，并且 refusal 有助于 OOD 稳定性”这个 claim。

但 evaluation 还不能支持更强的泛化叙事。任务大多是 pick-place、容器放置、关门等语言可分解操作，且底层 VLA 很可能已经具备相关 primitive。novel composition 中也有不少任务所有方法都失败，说明组合泛化边界很窄。硬件任务数量有限，语义扰动也较少，无法判断方法在开放家庭环境或长程多阶段任务中是否仍成立。

conformal 部分的验证相对扎实：他们不仅看 success，还看 harmful FPR，并展示 calibration 后 FPR 接近目标 α。但这依赖 calibration perturbation 与 test perturbation 的 exchangeability。真实部署中最难的恰恰是不可预见 shift；文中的 guarantee 在这种情况下不能直接外推。

另一个 evaluation limitation 是交互成本和 candidate generation 成本被淡化。方法训练阶段需要大量 rollout 来估计每个语言序列的 improvement，硬件上这会很贵。论文展示了样本效率相对 VLA fine-tuning 更好，但没有完全回答大规模任务库下 search/callibration 成本如何扩展。

Limitation

最根本的限制是可 steering 性假设：底层 VLA 必须已经有相关技能，并且语言条件必须能有效索引这些技能。若任务需要新物理能力、新 contact mode、精细 force control，或 VLA 对语言不敏感，LFP 只能拒绝，不能提升。

第二，语言搜索空间仍然是局部的。作者用 narration prior + paraphrase perturbation 避免开放搜索，但这也限制了发现能力。很多真正有效的 steering language 可能不是语义等价 paraphrase，而是 VLA 训练分布中的奇怪触发短语、模板或 latent convention。局部 paraphrase search 未必能找到这些。文中未充分说明语言候选覆盖率如何影响上限。

第三，所谓 closed-loop language feedback 不等于长期规划。LFP 每步从 observation 生成短语，可能只是视觉状态到常见子任务描述的 retrieval，而不是显式维护任务进度、因果状态或失败诊断。中途恢复案例说明它能利用当前视觉反馈，但不能证明形成了长期状态建模。

第四，conformal harmlessness 的边界很清楚但容易被误读。它控制的是 calibration distribution 上 harmful examples 的 false positive rate，不是保证不降性能，也不是 OOD 安全证明。如果真实部署 shift 超出 calibration set，threshold 可能失效。并且拒绝机制会牺牲一些 helpful interventions，如何在 safety 和 missed improvement 之间自适应权衡仍未解决。

第五，增益归因不清。interactive search、LLM 生成能力、rollout budget、on-policy successful demonstrations、RFT 蒸馏、conformal threshold 都参与了最终性能。文中有 ablation，但还不足以定量拆出：到底是语言层 abstraction 带来的，还是更多 test-time compute / data selection 带来的。部分改进可能主要来自 scaling / data，而不是新算法机制。

Takeaway

• 第一，frozen VLA 的语言接口值得被当作一个可学习的 control surface，而不是只接受人类原始 instruction。
• 未来很多 VLA 系统可能会有外接的 interface policy，专门负责把用户目标翻译成模型最可执行的内部语言。
• 第二，语言 steering 的正确目标不是语义相似，而是行为增益。
• 任何只靠 LLM paraphrase 或人类直觉优化 prompt 的方法都不够，必须用 closed-loop rollout 或可靠 verifier 校验诱导行为。

一句话总结

这篇论文把 VLA 语言输入从静态指令变成可搜索、可蒸馏、可拒绝的闭环控制接口，真正贡献是在 frozen foundation policy 之外学习一个 mostly harmless 的语言层 steering wrapper，而不是训练出新的机器人能力。