精读笔记

Problem Setting

这篇论文实际处理的是 VLA 里一个经常被默认跳过的选择问题：vision encoder 的 winner 是否能从小 backbone 迁移到大 backbone。关键矛盾在于，encoder choice 看起来像一个视觉表征问题，但在 VLA 里它实际是 encoder representation、VLM hidden space、action expert、connector/pooling 和 demonstration distribution 的联合适配问题。以前的 encoder sweep 大多在共同训练或 finetune 下做，ranking 本身已经包含 co-adaptation；因此很难回答一个更现实的问题：给定一个 released VLA checkpoint，不重训 backbone，只换视觉塔，之前小模型上的结论还可靠吗？

Motivation

已有路线不够的地方不是缺少 encoder benchmark，而是缺少 target-backbone 条件下的因果隔离。VLM4VLA 这类工作能告诉你某些 encoder/LM pairing 在训练时表现好，但不能告诉你一个 frozen π0.5 checkpoint 是否应该继续用小 VLA 上胜出的 encoder。OpenVLA-OFT 研究的是如何调已有 fused tower，而不是 tower identity 本身。作者的核心观察是：VLA scaling 主要发生在语言和 action stack 上，视觉塔却经常被继承；这使得 encoder 选择变成一个高成本但证据不足的工程决策。论文要补的是这个决策前的低成本诊断。

Core Idea

核心想法是把 encoder comparison 从“端到端训练后的性能比较”改成“在同一个 frozen target backbone 上的 representation grafting 诊断”。候选 encoder 不被训练，backbone 不被训练，只训练一个小接口；于是 ranking 更接近于测量：某个 encoder 的 frozen token 是否能被当前 VLA 的已有语言/动作栈线性重解释。

这个改变的本质在于重新组织信息流：视觉表征不再与 action expert 共同演化，而是作为外部表征被接入一个已经形成内部视觉 token 预期的系统。它引入的 inductive bias 是“接口受限的 representation alignment”。这不一定给出绝对最优 encoder，但非常适合回答 practitioner 关心的 target-backbone screening 问题。它比从头 sweep 更 scalable，因为每个 cell 只训练很小的 projector；但它也天然只能回答 fixed-interface 下的局部问题。

Method

方法的关键不是 adaptive average pooling 或 linear layer 这些模块本身，而是它们承担的实验控制角色。

第一，冻结 LM 与 action expert 是为了切断 encoder 与下游策略的共同适配路径。这样 ranking 不再由谁更能在 finetune 中被 action head 吸收决定，而主要由 frozen representation 与目标 backbone 的兼容性决定。

第二，统一 token 数和 hidden size 是为了让候选 encoder 对下游呈现相同形状的视觉 token 流。这个接口把 encoder 差异压缩到 token 内容，而非 token layout 或 connector architecture。代价是它也可能成为瓶颈，尤其会偏好更容易线性投影的 encoder。

第三，zero-image、shuffled-image 和 native-through-interface 控制实验是这篇论文方法上最重要的补丁。没有这些控制，主结果很容易被误读成“某个 encoder 更好”。有了这些控制后，作者能区分：视觉是否真的被用到、是否依赖空间结构、以及 wrapper 本身是否改变 native path。尤其 native-through-interface 直接揭示 wrapper 非中性，这是论文里最有价值的方法警告之一。

Key Insight / Why It Works

这篇论文真正成立的原因不是 projector 很巧妙，而是实验设计把一个混杂严重的问题降维成了 target-backbone compatibility probe。VLA 的视觉 encoder 不只是提供视觉语义，它必须产出能被特定 LM/action expert 消化的 token 分布。小 backbone 上的 winner 可能只是更适合小模型的 hidden geometry、connector 或 action prior；到大 backbone 后，容量、token 数、hidden size、attention dynamics 和 native pretraining prior 都变了，encoder ranking 当然可能漂移。

最核心的 insight 是：encoder quality 在 VLA 中不是全局属性，而是 cell-specific property，即 encoder × backbone × suite × interface 的交互项。论文中 bottom encoder 大体仍然差，说明粗粒度表征质量会迁移；但 top tier 的差距很小，容易被 backbone/interface/data distribution 改写。这比“DINOv2 比 SigLIP 更适合 geometry”这类解释更本质。

需要直接指出的是，π0.5-spatial 的支持并不干净。shuffled-image 只比 real-image 差很少，说明该 cell 可能大量利用低频图像统计，而不是精细空间-动作对应；因此这里的 DINOv2 win 可能不是“几何表征更好”，而是“在这个 wrapper/backbone/dataset 下产生了更有利的 activation statistics”。这削弱了语义解释，但不削弱主 claim：小模型 winner 不足以决定大模型 top tier。

哪些是核心贡献？不是四个 encoder 的排序，也不是 2000-step recipe，而是 fixed grafting diagnostic 加上 wrapper non-neutrality 的揭示。哪些可能只是 engineering？pooling choice、训练步数、少量 LoRA gate、具体 encoder pool 都偏工程。哪些可能来自 scaling？大 backbone 对视觉 stream 的依赖更高、wrapper 在 π0.5 上反而改善 native path，这些都可能与模型容量有关，但文中无法隔离 scale 与 architecture，因此不能当 scaling law。

Relation To Prior Work

它最接近 VLM4VLA / encoder sweep / OpenVLA-OFT / Theia 这一谱系，但位置不同。VLM4VLA 比较的是共同训练后的 VLM/VLA pairing，回答 training-time architecture choice；本文比较的是 released frozen backbone 上的 post-hoc encoder swap，回答 deployment 前的 screening choice。OpenVLA-OFT 关心 finetuning recipe 如何作用于固定 fused tower；本文固定 recipe，改变 tower identity。Theia 试图把多 encoder 压缩成一个通用 student；本文反而说明如果 encoder ranking 是 backbone-dependent，那么 distillation 可能也需要 target-backbone-specific。

看似新的部分里，encoder grafting 本身不是新思想，线性 probe / frozen feature evaluation 也不是新思想；真正新增的信息是把这个 probe 放进 VLA 的视觉入口，并系统地显示 top-1 不可靠迁移、wrapper 非中性、以及视觉使用机制随 backbone-suite 变化。这属于 representation alignment diagnostic，而不是新型 VLA architecture。

Dataset / Evaluation

评估覆盖两个 LIBERO image suites、两个 VLA backbone、四个 encoder，作为诊断实验是够用的，但远不能支撑 deployment claim。它验证的核心 claim 是“在 offline MSE 诊断下，小 backbone top-1 不可靠迁移到大 backbone top tier”，这点基本被支持；但它没有验证“换 encoder 会提升真实策略成功率”。

最大评估限制是 offline action MSE 与 closed-loop success 的鸿沟。由于 embodiment mismatch，作者无法做有效 rollout，这使实验更像 representation compatibility test，而不是 robot policy benchmark。另一个问题是 LIBERO clean split 的覆盖有限，且 π0.5-spatial 的 shuffled-image 结果说明 benchmark 里可能存在可被低频统计利用的信号。seed 数也偏少，object suite 的 top tier 已经进入 seed noise band。因此 evaluation 对主诊断 claim 是充分但保守的；对任何关于真实 VLA 能力、几何理解、closed-loop 泛化的 claim 都不充分。

Limitation

这篇论文的结论成立依赖几个强前提：固定 grafting interface、冻结 backbone、统一 preprocessing、offline MSE、LIBERO image distribution。任何一个变了，ranking 都可能变。尤其 P1 projector-only 本质上测的是 linear projectability，不一定是 encoder 的可训练上限。LoRA gate 显示解冻 encoder 会改善所有测试 cell，甚至可能暗示 ranking 会变化，但文中未充分说明，因为 P2 矩阵太小。

wrapper 非中性是最大的方法学风险。native-through-interface 说明同一个 native vision tower 经过 wrapper 后在 SmolVLA 上变差、在 π0.5 上变好，而且幅度很大。这意味着 native-vs-grafted 的绝对比较几乎不能解释为 encoder superiority；增益来源不清，可能主要来自接口正则化、token bottleneck、projection 重新标定，或 backbone 对新 token stream 的适应能力。

scale 归因也不成立。两条 backbone 不只参数量不同，还在 LM、action expert、token count、hidden size、native vision tower、pretraining 数据和 connector 上全部不同。论文标题强调 backbone scale，但严格说只能说“across two released backbones with different scales”；scale 本身不是被隔离变量。

最后，π0.5-spatial 的视觉使用可疑。shuffle-gap 很小，说明所谓 spatial suite 上的 encoder ranking 可能并没有测到真正空间结构利用。这不是小问题，因为它正是大模型上 DINOv2 win 的关键 cell。作者有承认这一点，因此主结论应读成 diagnostic warning，而不是关于 DINOv2/SigLIP 的一般性结论。

Takeaway

• 1. VLA encoder choice 不应该从小模型 winner 外推到大模型；至少需要在 target released backbone 上做 cheap grafting sweep。
• 2. encoder ranking 的核心变量不是 encoder 单体能力，而是 representation alignment：encoder token distribution 是否匹配特定 backbone/action expert 的内部预期。
• 3. swap interface 不是中性的。
• 任何 encoder replacement paper 如果不报告 native-through-interface control，很可能把 interface-backbone compatibility 误归因为 encoder quality。

一句话总结

这篇论文不是提出更强 VLA，而是把 VLA 视觉塔选择重新定义为 target-backbone representation-grafting diagnostic，并用实验证明小模型 encoder winner 对大模型 top-tier 选择不可靠且强烈受接口影响。