精读笔记

Problem Setting

【论文标题】Revisiting Parameter Redundancy in Vision-Language-Action Models: Insights from VLM-to-VLA Adaptation（arXiv preprint / 2026）。这篇论文处理的是 VLA 参数冗余的判定问题，而不是常规意义上的模型压缩优化。关键矛盾在于：VLA 继承了巨大 VLM backbone，但并不是所有继承参数都同等参与动作生成；与此同时，VLA 对剪枝极端敏感，传统剪枝一旦移除看似“不重要”的参数就会导致策略崩溃。以前方法卡在 recovery-dependent paradigm：先用 LLM/CV 里的 saliency criterion 剪，再用 SFT、LoRA、RL 或低秩校正把性能补回来。这个流程在工程上可用，但在研究问题上是有毒的，因为最终性能测到的是模型的再学习能力，而不是被保留参数本身是否支撑原有策略。论文真正想回答的是：在 VLM-to-VLA adaptation 后，哪些参数是结构残留，哪些参数已经成为 action computation path 的组成部分。

Motivation

已有路线不够的原因是它默认“剪枝导致性能下降”是不可避免的，然后把重点放在 repair 上。作者认为这掩盖了更基础的缺口：VLA 的冗余标准不能直接从 LLM/CV 迁移，因为 VLA 的参数重要性由 adaptation 过程塑造。核心观察是 VLM 到 VLA 的参数变化不是均匀噪声，而呈现强模块异质性：有些模块里大变化参数更关键，有些模块里稳定参数反而更关键，还有些 bottleneck 模块几乎不可动。由此产生一个自然方向：不要只看最终 VLA 权重，而要看它相对于原始 VLM 的演化轨迹。缺的不是又一个 pruning score，而是一个能区分“冗余识别”和“损伤修复”的诊断范式。

Core Idea

论文的核心思想是把 VLM-to-VLA adaptation 视为一次结构化功能重分配，并把参数差异 ΔW 当作这个过程留下的 trace。传统剪枝通常在单个已训练模型内部估计重要性；这篇文章引入的是跨阶段的比较视角：同一个参数从 VLM 到 VLA 发生了多大变化，可能揭示它是否被 action-centric computation 重新使用、重新定向或保持为基础对齐支撑。这里的新 inductive bias 是“功能重要性来自 adaptation dynamics”，而不是来自权重大小、激活大小或梯度敏感性。

更关键的是，作者没有把 ΔW 简化成全局 importance metric。论文真正有价值的地方在于承认并利用 ΔW 语义的模块依赖性：high-ΔW 在某些模块代表关键动作适配，在另一些模块可能代表可剪的重配置残差；low-ΔW 在语言 backbone 里可能是稳定的基础对齐路径，而在某些视觉补充模块里可能只是未被利用的残留。相较 prior，这不是单纯换一个 score，而是把剪枝从 global ranking 改成 module-conditioned causal interpretation。

Method

方法的第一步是定义共享参数空间中的相对参数差异 ΔW_rel，用它观察 VLM 到 VLA 的权重演化。它解决的是“最终权重本身看不出哪些参数来自预训练残留、哪些来自动作适配”的问题。这个步骤的核心变化是把静态 saliency 变成 adaptation-aware signal。

第二步是 controlled pruning：分别移除 high-ΔW 和 low-ΔW 的 head/channel，并且严格不做 fine-tuning。它解决的是 prior 中 recovery 掩盖剪枝质量的问题。这里 pruning 不是为了立即得到最小模型，而是作为因果干预，用性能坍塌与否反推参数子集的功能角色。

第三步是 module-aware joint pruning。作者根据诊断结果给不同模块分配不同选择规则和剪枝强度，保护 projector 这类非选择性瓶颈，对辅助视觉塔利用更高冗余，对语言/主视觉模块采用更谨慎的 high/low ΔW 策略。机制上的必要性在于 ΔW 的解释不是全局一致的；如果仍然全局排序，就会重新落回 indiscriminate pruning。

Key Insight / Why It Works

这篇论文最重要的 insight 是：VLA 剪枝失败并不一定说明 VLA 没有冗余，而是说明冗余不服从传统模型内 saliency 的全局排序。VLA 的参数空间是从 VLM 迁移来的，action capability 很可能是通过少量模块和通道的重定向、保留与桥接形成的。因此，参数是否“动过”以及在什么模块里“动过”，比它当前有多大或激活多强更接近真实的 functional history。

方法有效的主要原因不是 scaling，也不是更强训练，而是更好的 inductive bias：它利用了 adaptation trajectory 中的 latent structure。这里的 latent structure 包括两类信息：一类是被显著重写的 action-specific pathways，另一类是保持稳定但承担基础 multimodal alignment 的 inherited pathways。传统剪枝只看当前模型状态，容易把后者当成冗余；这解释了为什么 low-ΔW 在某些语言模块被剪会直接崩溃。

最可能的核心贡献是 recovery-free causal probe，而不是最终的剪枝配置。最终 Light/Moderate/Aggressive recipe 有明显 engineering 成分，依赖模块经验和比例选择；真正可迁移的是“用适配前后差异做功能诊断，并用无恢复剪枝验证因果性”。Projector 脆弱性、SigLIP 冗余、DINOv2 主干敏感等发现有价值，但更像特定架构实例下的机制观察，不应过度泛化。

需要直接指出：论文目前还没有证明 ΔW 是参数重要性的因果来源，只证明它在若干 VLA/VLM 对上与剪枝后果高度相关。高 ΔW 可能表示功能重组，也可能表示 adaptation 过程中的可替代漂移；低 ΔW 可能表示稳定基础能力，也可能只是训练没碰到。模块内符号反转说明这个信号需要解释层，而不是一个自足理论。

Relation To Prior Work

最接近的路线是 VLA 参数剪枝与 post-hoc recovery 方法，如 RLRC、GLUESTICK，以及 LLM 里的 LLM-Pruner、FLAP、Wanda 等结构化剪枝。与这些工作的本质差异是评价对象不同：prior 关心“剪完之后能否通过恢复达到性能”，本文关心“剪完不恢复是否仍保留原策略功能”。因此它不是简单 outperform 一个 pruning baseline，而是在挑战 baseline 的问题定义。

它也接近 mechanistic analysis / model editing 中利用参数变化追踪功能迁移的思想，但落点更工程化：把 VLM-to-VLA 的参数差异直接转成剪枝判据。看似新的地方——high/low ΔW ranking、head/channel pruning、module-wise masks——本身并不新；实质创新在于把 adaptation difference 当成 VLA-specific redundancy signal，并用 recovery-free intervention 去验证。

从技术谱系看，这篇属于 adaptation-aware compression / mechanistic pruning，而不是纯模型压缩。它把 VLA 效率问题从“压缩已有模型”推进到“理解预训练能力在动作任务中如何被继承与重组”。

Dataset / Evaluation

实验主要覆盖 LIBERO 的 Spatial/Object/Goal/Long，能测试一定程度的多任务 manipulation 与语言条件控制，但仍是离线仿真 benchmark，没有真实机器人部署证据。π0 在 RoboTwin2.0 上的附加实验提供了一点跨 benchmark 支持，但规模有限，不能证明真实泛化。

评价最有力的部分是 recovery-free setting 下与传统剪枝标准的对比，因为这正好验证论文的核心 claim：传统 criterion 在 VLA 上会误删关键参数，而 ΔW-aware 策略能避免立即坍塌。Hypothesis I 的 pre/post fine-tuning 对照也很关键，它说明 recovery 可以掩盖糟糕剪枝决策。

不足是 evaluation 仍主要验证“在这些模型和这些 benchmark 上不恢复能剪”，而不是验证“ΔW 普遍刻画 VLA 功能机制”。LIBERO 的任务分布、训练数据 overlap、动作空间离散化与 benchmark bias 都可能影响结论。文中未充分说明剪枝配置是否在验证集/任务上迭代调过；如果调参较多，最终 gain 可能部分来自 benchmark-specific engineering。

Limitation

第一，方法强依赖可配对的 VLM/VLA 权重。如果 VLA 架构和 VLM 不严格同构，或者 adaptation 主要通过 adapter、expert、action head、router 完成，ΔW 的覆盖范围会明显不足。π0.5 中 expert/other 参数没有成为分析中心，这已经暴露出方法对共享 backbone 的偏好。

第二，ΔW 的语义不是稳定单调的，需要模块级人工解释。这个限制很本质：如果 high-ΔW 有时重要、有时冗余，low-ΔW 有时稳定关键、有时无用残留，那么方法的可扩展性取决于能否自动学习这种模块条件规则。当前 joint pruning policy 仍有较强 hand-crafted 成分。

第三，真实部署上限不清楚。LIBERO 成功率不能充分反映 closed-loop robustness、长时程误差累积、视觉分布 shift、接触动力学和安全约束。一个 recovery-free pruned model 在仿真 benchmark 上保持性能，不等于在真机上保持策略稳定性。

第四，增益归因仍不完全干净。论文把传统方法崩溃归因于误删关键参数是合理的，但没有充分排除剪枝粒度、模块保护策略、参数预算分配、架构冗余差异等 engineering 因素。最终 compression 效果可能是 ΔW signal 与手工模块先验共同作用，而不是 ΔW 单独带来的。

Takeaway

• 1. VLA 的冗余不应按 LLM/CV 的静态 saliency 理解；它是 VLM-to-action adaptation 之后形成的历史依赖属性。
• 2. Recovery-free pruning 是一个很好的诊断工具：如果不恢复就崩，说明你测到的可能不是冗余，而是模型可修复性。
• 3. 最值得迁移的 insight 是用 pretrain-to-adaptation 的参数轨迹识别功能重组，这可用于剪枝、模块冻结、adapter placement、continual adaptation 和 model merging。
• 4. 未来真正值得做的是自动化学习 module-conditioned ΔW semantics，而不是继续手工设定哪些模块剪 high、哪些剪 low。

一句话总结

这篇论文把 VLA 剪枝从 recovery-driven compression 推向 adaptation-aware functional diagnosis，真正贡献是证明 VLM-to-VLA 参数演化轨迹可以作为识别动作相关冗余的结构信号。