精读笔记

Problem Setting

论文标题：FiberTune: Preserving Action-Fiber Visual Residuals in Vision-Language-Action Fine-Tuning（arXiv preprint / 2026）。

这篇论文解决的不是 VLA fine-tuning 的整体性能优化，而是 action-supervised imitation fine-tuning 中一个更具体的表示退化问题：动作 loss 只约束那些会改变当前动作预测的 feature directions，而对当前动作等价的视觉因素没有直接梯度压力。这些因素包括颜色、类别、背景、干扰物、未来可能有用的物体状态等；它们对当前短 horizon action 可能冗余，但对 OOD generalization 和 long-horizon recovery 可能关键。

真正困难点在于，VLA fine-tuning 的目标本身鼓励压缩：如果某些视觉差异在数据中不改变 action target，那么 BC objective 没有理由保留它们。已有 representation preservation 方法试图用 frozen teacher 约束视觉表示，但 full-token preservation 会和 policy adaptation 竞争：它既约束 action-irrelevant residual，也约束 policy 正在重塑的 action-relevant subspace。关键矛盾是：需要保留视觉泛化信息，但不能阻碍控制相关表示适配。

Motivation

作者的动机比“VLA 会遗忘视觉能力”更具体：遗忘最值得关心的部分不是全部视觉表示，而是 action fiber 内部的 residual visual structure。对于一个给定动作目标，存在一族表示会产生同样动作预测；task loss 只看是否跨出这个 fiber，不管 fiber 内部结构是否塌缩。因此，动作监督天然会忽略 action-equivalent variation。

已有路线不够的地方在于 preservation 目标太粗。BlindVLA-style frozen-teacher alignment 对 full representation 做对齐，隐含假设是 teacher visual space 中的信息都应该被 policy 中间层保留。但在控制 fine-tuning 中，action-predictive directions 必须允许重排，否则可能牺牲 task fitting。论文真正抓住的缺口是：preservation 应该是 conditional on action/language 的，即保留在动作条件下仍有视觉意义的 residual，而不是无条件保留全部视觉特征。

Core Idea

FiberTune 的核心思想是把 VLA 中间视觉表示分解成 action-predictive component 和 action-filtered residual，然后只对 residual 做视觉结构保留。它不是简单加一个 teacher loss，而是改变 teacher signal 的作用对象：teacher 不再约束整个 hidden state，而是约束被 probe 投影到 action-orthogonal 近似空间后的 token residual。

这个设计的理论直觉成立在局部线性化上：action head 对 pooled visual feature 的 Jacobian row space 表示一阶上会改变动作的方向；其 null space 是 action fiber 的切向方向。FiberTune 用在线线性 probe 近似这个 row space，再用 complementary projection 得到 residual。随后用 teacher alignment 保证 residual 仍含有视觉结构，用 effective-rank prior 保证 residual 不塌成低维 shortcut。其本质 inductive bias 是：控制相关表示可以被 fine-tuning 改写，但动作等价的视觉自由度需要被显式维持。

Method

方法的必要机制可以压缩成三层。

第一，action probe 负责估计“哪些 feature directions 当前对动作有解释力”。它用 detached pooled visual-token features 线性回归连续动作，由 probe row space 近似局部 action-predictive subspace。这一步解决了直接计算大模型 Jacobian 不现实的问题，但也把真实非线性 action geometry 简化为 pooled feature 线性模型。

第二，probe-filtered residual 是方法的核心对象。通过 R_pf = R_theta(I - P_probe)，模型把 action-predictive directions 从视觉 token 表示中滤掉。这样辅助损失不会直接压住 policy 用于动作预测的方向，理论上减少 teacher preservation 与 task adaptation 的冲突。

第三，residual 上有两个压力：teacher-conditioned directional alignment 和 effective-rank prior。alignment 解决 residual “保留什么”的问题，即让 residual 仍可对齐 frozen visual teacher 的 token-relative structure；rank prior 解决 residual “如何不塌缩”的问题，即防止表示能量集中到少数方向。论文的 ablation 暗示 rank prior 是更强的单独贡献，teacher alignment 更像补充的语义/视觉锚点。

Key Insight / Why It Works

这篇论文最有价值的 insight 是：VLA fine-tuning 的 representation collapse 应该按 action geometry 来分析，而不是按普通视觉表征退化来分析。action loss 的盲区不是随机的，而是局部 action fiber 的 tangent directions；如果在这些方向上施加 anti-collapse 和 teacher preservation，就能在不明显干扰 action fitting 的情况下保留泛化相关视觉信息。

我认为真正有效的部分更可能是“action-filtered residual + rank preservation”，而不是完整的信息论形式。互信息推导提供了合理叙事，但实验中 residual rank only 已经拿到大部分 CALVIN 增益，说明主要机制可能是防止中间视觉 residual 低秩化。teacher alignment 的作用是把高秩 residual 引向 teacher-structured visual directions，而不是单纯增加维度噪声。

这不是 scaling，也不是 retrieval，也不是 test-time compute；它属于 better inductive bias / representation regularization。它利用了 pretrained teacher 的视觉结构，但没有在推理时引入额外记忆或外部检索。它也不像 curriculum。更准确地说，它是在 BC fine-tuning 的 latent structure 上加了一个条件化 anti-collapse prior。

需要注意的是，probe-filtering 本身可能也是强 regularization：它避免了 full-token alignment 对 action-relevant directions 的负干扰。full-token alignment 在 CALVIN ablation 中低于 baseline，这一点很关键，说明“保留视觉”如果不区分 action geometry，可能会损害控制。FiberTune 的贡献不是 teacher alignment 本身，而是把 alignment 从全空间移动到 action residual 空间。

Relation To Prior Work

最接近的是 BlindVLA、MAPS、Spatial Forcing、RS-CL 这类 VLA representation preservation / regularization 工作。它们共同承认 fine-tuning 会损害 pretrained visual-language representations，但多数方法对完整表示、模块参数、空间 foundation feature 或 contrastive state metric 施加约束。FiberTune 的本质不同是 preservation 的条件化对象：它不问“如何保留 VLA 的视觉能力”，而问“在不影响当前动作预测方向的情况下，哪些 residual visual structure 应该保留”。

从技术谱系看，它是 frozen-teacher alignment、self-supervised anti-collapse、information bottleneck 和 local linear probing 的重组。但这个重组不是表面拼接，因为 action-fiber framing 改变了 regularization 的施加位置。实质创新在于 action-probe filtering 作为 preservation gate，以及把 residual effective rank 当成行为泛化相关的训练目标。

看似新的信息论目标 I(U;Z|A,L) 更像 conceptual justification，真正新增的信息是：full representation preservation 可能不是最优，甚至可能有害；更好的对象是 action-conditioned residual subspace。

Dataset / Evaluation

评估覆盖两个仿真 benchmark、两个 VLA 架构和一个低成本真机 pick-place，足够支持“该 regularizer 在多个 fine-tuning setting 中有稳定正向效果”的较弱 claim。CALVIN adapted checkpoint 上的长程提升最能体现论文动机，因为 long-horizon execution 更依赖保留未来相关视觉状态，而不只是单步动作拟合。LIBERO 上的提升多数较小，尤其接近饱和 checkpoint 时更像 polish regularization，而不是能力跃迁。

OpenVLA-OFT general start 的提升较明显，但 baseline 本身较低，可能反映 low-budget adaptation 下 regularization 帮助更大。SO-101 真机结果提供了有用信号，尤其 held-out green 增益与“颜色 residual 保留”叙事一致；但每个颜色只有 32 trials，统计上只能算 suggestive，不足以证明强 OOD 泛化。

representation diagnostics 是这篇评估中比较重要的部分：Residual CKA 和 residual effective rank 一致上升，并且指标不是直接训练目标的同一形式，这比单纯报 success 更能支撑机制 claim。不过它仍是相关性证据，不能排除 rank prior 通过其他优化路径改善了 policy robustness。

Limitation

核心前提是在线线性 probe 的 row space 能近似局部 action-changing directions。这个假设在当前实验里可能足够，但在更复杂 VLA 中未必成立：动作预测可能强非线性，语言 token、state token 和不同视觉 token 位置可能以异质方式共同决定动作，pooled visual feature 的 channel-wise projection 可能过粗。

第二个上限是 residual preservation 可能保留无关信息。rank prior 鼓励 spread，但不区分有用视觉因素和 batch/token 噪声；teacher alignment 能缓解这一点，但 teacher domain mismatch 或 teacher 对机器人相关 affordance 不敏感时，可能把 residual 拉向错误结构。

第三，loss scale 和 layer/token span 需要 calibration，说明方法还依赖工程调参。文中虽然说按 backbone 固定，但跨 benchmark 自动迁移未解决。若辅助压力过大，可能重新变成 full preservation 的干扰问题；过小则只是弱正则。

第四，泛化证据有限。CALVIN 和 LIBERO 是标准 offline/sim benchmarks，可能存在任务结构、视觉分布、语言模板上的 overlap；真机只验证一个 manipulation skill。文中未充分说明在更开放场景、多物体组合、长时间闭环状态漂移下 residual rank 是否仍对应行为泛化。

最后，增益归因仍不完全清晰。ablation 显示 rank prior 是主因，这让“teacher-structured residual preservation”与“简单 residual anti-collapse”之间的边界变得模糊。FiberTune 可能主要是在 fine-tuning 中提供了一个较好的 covariance regularizer，而 action-fiber 理论是解释该 regularizer 为什么放在 residual 上更安全。

Takeaway

• 1. VLA fine-tuning 的 representation preservation 不应该默认作用在 full hidden state；更合理的方向是按 action geometry 做条件化 preservation。
• 2. 对 action-orthogonal residual 做 anti-collapse 可能是一个可迁移 insight：不仅适用于 VLA，也可能适用于 imitation learning、policy distillation、multimodal task adaptation 中“监督标签只覆盖部分因素”的场景。
• 3. teacher alignment 的关键不是 teacher 本身，而是 teacher signal 进入模型的位置。
• alignment 如果施加在错误子空间，会变成对 policy adaptation 的约束；如果施加在 residual 子空间，则更像泛化信息的保底机制。

一句话总结

FiberTune 是一类 action-conditioned representation preservation 方法：它把 VLA fine-tuning 中的视觉保留问题从 full-token anti-forgetting 推进到 action-fiber residual anti-collapse，真正贡献在于用动作几何决定正则化应该作用在哪个子空间。