精读笔记

Problem Setting

这篇论文不是在讨论 VLA 的任务定义，而是在问一个更工程但很关键的问题：现代连续控制 VLA 是否真的需要在下游 fine-tuning 和 deployment 时保留完整 transformer 深度。目标场景是已有大规模 pretrained VLA，例如 π0、GR00T-N1.5，面对新机器人任务时的适配成本和实时推理成本过高。

真正困难点在于，VLA 的深度不只是语言模型式的语义推理深度，还混合了承载视觉上下文、动作 token 变换、flow / diffusion action head 的条件生成路径。删层如果破坏了跨模态 conditioning 或动作流形，成功率会直接掉。因此核心矛盾是：大模型的预训练能力需要保留，但下游训练和实时控制不能承受完整规模。

以前方法大多没有正面解决这个矛盾。token pruning / cache / speculative decoding 主要优化 inference，不减少 full-depth fine-tuning；小模型路线绕开大模型但也丢掉部分 foundation capability；dynamic layer skipping 需要额外 router、辅助目标和 runtime 决策，实际把复杂性转移到自适应计算系统里。CLP 的问题设定更激进：先把结构删小，再让剩余网络适配。

Motivation

作者的核心观察是，连续控制 VLA 的相邻 transformer 层存在大面积 representational plateau：很多连续层的 hidden states 通过 CKA 看起来高度相似，说明它们对 token representation 的增量变换很小。这不是简单的“LLM 层冗余”搬运，因为这里同时出现在 VLM backbone 和 action-generation head 中，后者直接关系到连续控制分布。

已有路线缺的是一个能同时降低 training 和 inference 成本、且不引入新模型组件的结构性方案。如果层冗余真实存在，那么 fine-tuning 前删层比 runtime 跳层更自然：下游优化从第一步开始就发生在较浅模型上，不需要学习 router，也不需要保持完整模型作为动态计算池。

这个方向的动机本质上是重新审视 pretrained VLA 的深度价值：深度可能在预训练阶段帮助吸收大规模异构数据，但在特定 downstream adaptation 中，很多层只是过参数化容量，而不是必要的任务计算路径。

Core Idea

论文真正的核心思想是：把 VLA 的层深度看成一种可在 adaptation 前重新分配的结构资源，而不是固定继承的能力载体。CLP 不试图在每个输入上决定“算哪些 token / 跳哪些层”，而是先用一次 calibration forward 识别哪些连续层几乎没有改变表征，然后永久删除这些层，让剩余网络通过 fine-tuning 恢复任务相关表征几何。

直觉上它可能有效，是因为 downstream manipulation 任务通常只需要预训练模型中的一部分 capability；如果某些相邻层在目标数据分布上处于高 CKA plateau，它们提供的更多是局部重复的 reparameterization，而非新的语义或控制信息。fine-tuning 后，剩余层可以重新组织 feature pathway，吸收被删层的局部变换。

和 prior 的本质区别在于计算范式：CLP 是 static structural compression，不是 input-adaptive compute，也不是 token-level sparsification。它引入的 inductive bias 是“保留表征跃迁，删除表征停滞”。这比动态 routing 更 scalable 的地方在于没有额外训练目标、没有部署时分支、没有 per-input 控制逻辑，代价是牺牲了针对不同输入复杂度自适应分配计算的能力。

Method

第一，CKA 用来解决层功能相似性的测量问题。作者不直接用 weight norm 或局部 activation distance，而用对正交变换和尺度变化更稳的表征相似度，试图捕捉“这一层是否真的改变了 token geometry”。这一步的必要性在于，transformer 层的权重差异不等于功能差异；VLA 中不同模态 token 的尺度也可能让简单距离指标不稳定。

第二，连续 block pruning 解决局部噪声问题。只看单层 Top-K 容易删到离散位置，造成信息流不连续；把高 CKA 相邻层聚成 plateau block，再保留首层作为 anchor，本质上是在保留每个冗余区间的入口变换，只删除后续重复 refinement。这是方法里比较关键的 inductive bias。

第三，pruning 发生在 fine-tuning 之前，并且不改变原始训练目标。这点很重要：CLP 的收益不只是 fewer FLOPs at inference，而是让整个 downstream optimization 都在较小网络上进行。它避免了 distillation、router、early-exit head 等额外机制，因此如果性能保持，说明被删深度确实不是该适配任务的必要计算。

第四，方法同时作用于 VLM backbone 和 action head。这个选择比只剪视觉 encoder 更有意义，因为连续控制 VLA 的成本和冗余不只来自感知侧；action generation head 也可能含有大量表征停滞层。它把“动作生成网络也可深度压缩”作为一个实证结论。

Key Insight / Why It Works

最重要的 insight 是：当前 SOTA VLA 的 downstream fine-tuning 可能处在严重 over-parameterized regime。full model 的深度并不都用于目标任务的必要计算，很多层只是预训练阶段遗留下来的冗余容量。删层后性能不降，甚至低数据下提升，说明 CLP 更像结构正则化，而不只是加速技巧。

方法有效的核心贡献大概率不是 CKA 公式，而是发现了连续控制 VLA 中跨模块存在可利用的 depth-wise representational redundancy，并证明这种冗余可以在 fine-tuning 前静态移除。CKA 是一个足够好的诊断器；block anchor 策略是稳定工程化；真正有迁移价值的是“表征 plateau = downstream 可压缩容量”这个假设。

从机制归因看，它主要属于 representation alignment / latent structure compression，而不是 retrieval、test-time compute 或 planning 增强。所谓性能提升不应解释为模型更会推理；更可能是减少了过拟合、降低了优化噪声、迫使剩余层学习更紧凑的任务流形。论文中的 PCA “manifold restoration”支持这个解释，但仍偏描述性，不能证明恢复的是因果上必要的控制结构。

哪些部分可能只是 engineering / scaling？训练时间、FLOPs、latency 的下降基本是删层带来的直接工程收益；这部分不神秘。更值得关注的是成功率不掉和低数据提升，但这部分归因不清。可能是 pruning pattern 好，也可能是 full model 在小数据上过拟合，也可能是 benchmark 任务对深层语义 / 长期规划要求不高。

我会比较谨慎看待“advanced VLAs require significantly fewer layers”这个强表述。更准确的说法是：在当前评估分布和 post-pretraining fine-tuning setting 下，很多层对目标任务 success rate 的边际贡献很低。它不证明这些层对 open-world generalization、rare recovery、长程任务组合或跨域 reasoning 没用。

Relation To Prior Work

最接近的技术谱系有两条：一是 LLM / VLM 的层冗余与 layer dropping，例如 ShortGPT、streamlining redundant layers；二是 VLA efficiency，包括 token pruning、KV cache、dynamic layer skipping、MoE / mixture-of-layers。CLP 的新意不是提出层剪枝本身，而是把这种静态层剪枝系统性迁移到现代连续控制 VLA，并把评估重点放在 fine-tuning 成本和真机部署上。

和 token pruning / cache 方法相比，本质差异是压缩对象不同。token 方法保留网络深度，只减少序列计算，通常只能影响 inference；CLP 直接减少 active layers，因此训练和推理一起变便宜。它牺牲 token-level 自适应性，换来结构简单和部署确定性。

和 dynamic routing / early-exit 相比，CLP 不学习“什么时候跳层”，而是断言在目标适配分布上某些层整体不需要。这使它更像 pre-finetuning architecture surgery，而不是 adaptive computation。实质创新在于它把层选择从一个训练问题变成一次 calibration 诊断问题。

和轻量 VLA 从头训练相比，CLP 的位置也不同：它不是设计一个小 foundation policy，而是压缩一个已有 foundation policy。核心能力仍来自大规模预训练，CLP 只是降低继承这些能力的下游成本。因此它更像 foundation model reuse 的效率方法，而不是小模型能力构建方法。

Dataset / Evaluation

评估覆盖面相对扎实：有多个 backbone、多个仿真 benchmark、低数据设置，以及 10 个真实机器人任务和多种 embodiment。这比很多 VLA 加速论文只在单一 OpenVLA / 单一仿真任务上报 inference speed 更有说服力，尤其是真机部分支持“删层不必然破坏闭环控制”这个核心 claim。

但 evaluation 仍主要验证 short-horizon / benchmark-style manipulation success，而不是更开放的长期任务组合、failure recovery、OOD 视觉变化或真正的 reasoning/planning。论文声称的泛化更多是跨任务、跨平台层面的 empirical robustness，不等于语义泛化或系统性组合泛化。

低数据结果是最有意思的证据，因为它暗示 pruning 有 regularization 效应。但这里也最容易混入归因问题：不同任务训练步数、数据规模、收敛速度和容量控制都会影响结果。文中未充分说明 pruning 后是否在所有任务上同等优化到最佳点，也没有彻底分离“训练更快”与“泛化更好”的因果关系。

总体看，实验足以支持“当前 VLA 存在可剪的深度冗余，CLP 能带来实际训练/推理收益”；不足以支持“这些层在更复杂机器人智能中普遍不需要”这种更强结论。

Limitation

第一，CKA 是平均表征相似，不是控制敏感性分析。某层在 calibration set 上与前一层高度相似，仍可能在少数关键状态、contact transition、失败恢复或罕见视觉条件下发挥作用。CLP 的静态删层会永久移除这种潜在能力，无法像 dynamic routing 那样在复杂输入上恢复深度。

第二，global pruning criterion 忽略 token 类型差异。VLA 中 language、vision、state、future token、action token 的功能并不对称；高相似度可能掩盖某些 token 子空间的关键变化。作者自己也指出 action/state token 表征不同，但方法没有真正利用这一点。

第三，能力来源仍是大规模 pretrained model。CLP 并没有证明小深度模型从头预训练能达到相同能力；可能存在“先用深模型预训练形成冗余表征，再剪枝 fine-tune”的隐式蒸馏效应。如果是这样，CLP 是有效的 adaptation compression，而不是架构规模定律的反证。

第四，scalability 上限不清。剪 30–50% 层在当前模型和任务上可行，不代表更复杂任务、更多 embodiment、更长 horizon 下仍可行。随着任务需要更多长期状态建模或多阶段规划，表征 plateau 可能不再等价于可删除。

第五，增益归因不完全清晰。真实世界任务上的提升可能主要来自低数据正则化，也可能来自 full model 的过拟合、任务本身对高层语义需求有限，或 evaluation variance。文中没有充分排除这些因素。

Takeaway

• 1. 对 VLA adaptation 来说，完整继承 pretrained depth 可能不是必要条件；未来更值得研究的是“哪些预训练计算路径需要保留”，而不是默认全模型 fine-tune。
• 2. 静态结构压缩在机器人场景里比很多动态计算方法更有部署价值：少模块、少分支、少 runtime 不确定性，同时直接降低训练成本。
• 3. CKA 这类 representation diagnostic 可以作为 layer selection prior，但下一步应转向 modality-aware / token-aware / control-sensitivity-aware pruning，而不是只看全局平均相似度。
• 4. 最值得迁移的 insight 是：foundation policy 的下游适配可以通过删除冗余容量获得正则化收益；在低数据机器人学习中，“更小但继承充分预训练”的模型可能比 full model 更稳。

一句话总结

这篇论文把 VLA 加速从 inference-time token/route 优化推进到 pre-finetuning static depth compression，真正贡献是证明现代连续控制 VLA 的大量层在下游适配中是可删除的冗余容量，而非必需的控制推理深度。