精读笔记

Problem Setting

[Flatness Preserves Instruction Following in Vision-Language-Action Models]（arXiv preprint / 2026）

这篇论文真正解决的是 VLA 后训练中的条件退化问题：模型在有限机器人数据上微调后，不再把语言指令当作强条件，而是把视觉场景、对象位置、训练任务共现关系当作 shortcut。所谓 instruction blindness 在这里不是 VLM 不懂语言，而是 VLA policy 在 action supervision 下把语言 grounding 的梯度贡献压低了。

关键矛盾是：VLM 预训练需要大规模、多样、密集覆盖的 vision-language distribution；机器人微调数据却小、偏、重复，并且动作标签强烈绑定某个场景-指令组合。微调必须把表示接到 action space，但这个过程会破坏原有表示流形。以前方法卡在需要额外数据、显式 guidance、结构拆分或 representation freezing，而没有直接处理低数据微调诱导出的优化几何偏差。

Motivation

作者的核心观察是：instruction blindness 可以被看成 sparse finetuning gradients 在参数空间中造成 sharp minima 的后果。有限 demonstration 只在少数视觉-语言点上施加监督，标准 SFT 很容易找到训练损失低但局部曲率高的解；这种解对输入组合变化和语言扰动非常脆弱。

已有路线通常是在“语言信号不够强”之后再补救：加 counterfactual data、用 guidance 强行放大 language conditional difference、或者用结构约束隔离 pretrained knowledge。论文想补的缺口是更底层的：如果微调本身把模型推向过拟合的 sharp basin，那么不改变数据和结构，仅改变优化偏置，也许就能保留更多预训练语言-视觉结构。

Core Idea

核心思想是把 instruction following 的保持问题转写为 loss landscape flatness 的保持问题。SAM 不是给模型更多语言监督，也不是在推理时重新加权语言，而是在训练过程中要求当前解的邻域都保持低损失。这个 inductive bias 会惩罚只在少数训练样本上成立的视觉捷径，因为这类解通常对参数扰动敏感，局部曲率高。

这和 prior 的本质区别在于：prior 多数直接操作数据、表示或推理目标；这篇操作的是优化几何。它不试图显式告诉模型“语言更重要”，而是让模型避免落入依赖脆弱特征的 sharp basin。若预训练 backbone 中确实已有 language-object grounding，那么 flatness 约束相当于降低微调对该结构的破坏，而不是重新学习 grounding。

Method

方法层面只有一个必要机制：用 SAM 替代标准微调优化器中的梯度更新。它解决的是低数据 SFT 过度贴合训练点的问题；需要它是因为普通最小化训练 loss 不区分 sharp solution 和 flat solution；核心变化是更新方向来自参数扰动后的 worst-case loss，而不是 clean parameter 上的局部 loss。

论文还尝试 selective SAM：只对 vision、language 或 action component 应用 sharpness-aware update。这个实验的机制意义比结果本身更重要：component-wise SAM 不如 global SAM，说明 instruction blindness 不是某个单独模块的局部退化，而更像跨 VLM backbone、language stream 和 action head 的耦合曲率问题。只修 action head 或只修 language block 会留下别的 sharp bottleneck。

SAM+CFG 的组合说明 flatness preservation 和 inference-time language amplification 不是互斥机制。SAM 提供更好的 base policy，guidance 再在推理时放大 conditional-unconditional 差异。这里最关键的是：主要增益仍来自训练时优化偏置，而不是 test-time compute。

Key Insight / Why It Works

我认为这篇最有价值的 insight 是：VLA 的 instruction blindness 不一定需要从“模型不懂语言”解释，而可以从“低数据 action finetuning 改坏了条件流形”解释。SAM 有效的根本原因可能不是神秘的 flat minima 理论，而是它作为一种强 implicit regularizer，降低了模型在有限机器人数据上把 object-location-scene 共现写死到参数里的倾向。

最可能的核心贡献是把 flatness 与 VLA 语言保持联系起来，并用同数据对照证明优化器本身能显著改变 instruction following。尤其 object grounding 提升更明显，说明 SAM 主要保护的是 vision-language binding，而不是低层运动控制。真实机器人中 grounding rate 和 success rate 同时提升，也支持它不是纯 simulation artifact。

但需要直接说：论文没有充分证明“sharpness 导致 instruction blindness”的因果链。sharpness 下降、表示聚类恢复、成功率上升三者相关，但不排除 SAM 只是更好的 regularization / slower effective fitting / gradient noise shaping。Hessian 和 sharpness 也主要在 action head 或子参数上估计，不能完全代表整个 7B 级 VLA 的几何。

这不是 scaling 方法，也不是 retrieval，不是 planner，也不是显式 memory reuse。它本质上是 better inductive bias + representation preservation。它的收益来自减少 destructive finetuning，而不是增加新能力。若测试任务需要真正 novel motor skill、长程状态建模或 unseen compositional reasoning，SAM 不会凭空补上。

Relation To Prior Work

最接近的技术谱系有三条：一是 VLA pretrained representation preservation，如 knowledge insulation、parameter merging、LoRA/PEFT；二是 instruction faithfulness/guidance，如 BayesVLA、CAG、CFG、language attention recalibration；三是通用 ML/NLP 中的 flatness-aware optimization，如 SAM、ASAM、SWA。

和 representation preservation 的差异是，它不冻结或合并参数，也不显式约束离 pretrained initialization 的距离，而是约束局部 loss basin 的形状。和 guidance 方法的差异是，它不在推理时增强语言条件，而是在训练时降低模型形成视觉捷径的概率。和 data augmentation 的差异是，它不提供新的 counterfactual support，只改变在同一 biased data 上学到哪类解。

新意不在 SAM 算法本身；这显然是已有优化思想迁移。实质创新在于把 VLA instruction blindness 归因到微调 loss geometry，并展示这是一个强 baseline：不加数据、不改架构、不重预训练，也能超过不少更复杂的补救路线。

Dataset / Evaluation

评估覆盖了多个 LIBERO-based counterfactual benchmark，包括任务指令、空间、对象和 OOD object 变体；还有小规模真机 pick-and-place。整体上，这些 benchmark 与论文 claim 对齐：它们确实在测训练场景下换语言指令后的条件敏感性，而不是普通 in-distribution success。

证据最强的部分是同数据、同 backbone、标准 finetuning vs SAM 的对照，以及 object grounding 子集上的系统提升。真实世界实验虽然规模小，但方向一致，说明不是完全依赖仿真环境。

明显 limitation 是 evaluation 仍主要围绕 counterfactual recombination，而不是开放世界任务泛化。很多测试仍共享对象、场景结构、动作原语或 LIBERO 任务模板，因此更像检测“是否摆脱训练指令 lock-in”，不等于证明 generalist robot policy 的真正组合泛化。真机只有 5 个布局级任务，不能支撑强 deployment claim。

Limitation

核心前提很强：测试动作必须在 policy 的 action support 内，且预训练/基座 VLA 仍然保留可用的 language grounding。SAM 只能保护或释放已有能力，不能创造缺失技能。若数据中没有某类对象操作、接触动力学或长程策略，flatness 不会补齐。

scalability 上限也不清楚。SAM 需要两次 forward/backward 风格的计算，且需要全梯度；对更大 VLA、多机器人、多模态长上下文训练会变贵。更重要的是，随着 finetuning data 规模变大、分布更均衡，sharpness 是否仍是主瓶颈未充分说明。

增益归因不完全清晰。文中用 sharpness 和 Hessian 支撑机制，但这些指标是局部且近似的，且主要覆盖参数子集。所谓“flatter manifold”在表示空间层面的定义仍偏直觉。也可能是 SAM 降低 effective learning rate、延缓 catastrophic forgetting、或改变 gradient noise，从而间接保留 pretrained features。

方法可能把问题从“语言被忽略”转移为“需要选择合适的 flatness radius 和优化预算”。如果 rho 不合适，可能欠拟合机器人动作；如果任务需要精确低层控制，过强 flatness 也可能损害 specialization。

Takeaway

• 第一，VLA 后训练不能只看数据和架构，优化几何本身会决定预训练语言-视觉能力是否被保留。
• 这个方向以后应该把 catastrophic forgetting、instruction blindness、loss curvature 放在同一个框架里分析。
• 第二，SAM 在这里的意义是建立了一个很强的低成本 baseline：很多看似需要额外 counterfactual data 或 inference guidance 的语言保持问题，可能先应该尝试 flatness-aware finetuning。
• 第三，值得迁移的 insight 是：当 foundation model 下游微调数据小且有强 shortcut 时，保持 flatness 可能比显式设计任务模块更稳健，尤其适用于需要保留预训练条件结构的 embodied models。

一句话总结

这篇论文把 VLA instruction blindness 从语言模块或数据缺口问题推进为低数据微调的优化几何问题，贡献在于证明 flatness-aware finetuning 是一种简单但强的 representation-preserving baseline。