精读笔记

Problem Setting

《Fusion: A Framework for Unified Sequential Token AdaptatIon in VisiOn TraNsformers》（arXiv preprint / 2026）实际处理的是 adaptive ViT 中多种计算削减机制的组合问题。单独看，token pruning、token merging、early exit 都已经成熟；真正困难在于它们不是独立控制旋钮，而是共同作用在同一层级 token representation 上。以前方法卡在“局部最优算子”思路：每个模块都能省 FLOPs，但并行叠加后会改变下游模块看到的表示分布，尤其会让 early-exit head 在被 pruning 破坏的 token set 上做置信度判断。关键矛盾是：越早删除 token 越省计算，但越早做不可逆删除，越容易破坏中间层判别性和退出可靠性。

Motivation

作者的核心观察是，多机制 adaptive inference 失败不是因为 pruning 或 merging 本身不工作，而是因为它们的执行顺序错了。已有路线缺的是一种机制间的 coordination：pruning、merging、early exit 通常分别训练、分别调参，然后被当作可组合组件；但它们共享 backbone hidden states，决策之间存在强耦合。Fusion 的出发点是把这个问题从“设计更强 token selector”转成“如何安排信息保留、置信判断、信息删除的先后顺序”。缺口非常具体：在压缩 token 前，哪些操作是可逆或信息保留的，哪些操作会破坏后续置信度估计，prior work 没有系统处理。

Core Idea

论文真正的核心思想是：adaptive ViT 的多轴压缩应当遵守信息破坏程度递增的顺序。先 merging，因为它虽然减少 token 数，但通过聚合保留冗余区域的信息；再 early exit，因为置信度估计需要尽量稳定、未被 token deletion 扭曲的表示；最后 pruning，因为它是不可逆的信息删除，应只作用于已经确认需要继续推理的样本。

这个设计引入的 inductive bias 是“先保真压缩，再难度判断，再激进裁剪”。它重新组织了 token-level compute control 的信息流，使多个 adaptive mechanisms 不再并行竞争同一表示，而是形成一个 staged decision process。和 prior 的本质区别不在于某个模块新，而在于把已有机制按 representation stability 的原则排序。这个 bias 比单独设计一个更复杂 selector 更 scalable，因为它可以复用已有 pruning/merging/exit 算子，并通过顺序约束降低组合复杂度。

Method

方法层面只需要抓住三个机制。第一，顺序组合解决表示干扰：merge → exit-check → prune 的设计确保 early-exit head 看到的是 merged but unpruned representation，从而避免 pruning 先行导致置信度崩塌。第二，inline merge router 解决固定压缩率的问题：不同图像、不同层的 token redundancy 不同，router 用 cls 表示预测 merge intensity，使 merging 从全局 schedule 变成样本条件决策；但文中 routing 方差很小，其实际贡献可能有限。第三，profile-aware scaling 解决多 operating point 的部署问题：同一 checkpoint 通过 inference-time threshold / ratio scaling 覆盖 balanced 和 power_save 等 profile，本质是把 test-time compute 变成可调预算，而不是每个预算重训一个模型。

训练上的 distillation、多 exit supervision、router regularization 更像稳定器。它们的作用是让中间层表示可用于 early exit，并防止 routing collapse；但这些不是论文最本质的新思想。真正必要的是把不可逆 token 删除推迟到置信判断之后。

Key Insight / Why It Works

最重要的 insight 是：adaptive mechanisms 的组合收益取决于表示扰动的顺序，而不是各模块单独的 FLOPs-accuracy 曲线。pruning 是最危险的，因为它改变 token support，而且不可逆；如果 exit head 在这种 altered support 上判断置信度，原本学到的中间层分类边界会失效。merging 相对温和，因为它减少 token 数的同时保留区域信息，因此适合作为 early-stage compression。

我认为核心贡献是“representation-preserving before confidence estimation, destructive compression after continuation decision”这个原则。它本质上是一个 better inductive bias，而不是 scaling。profile-aware scaling 是 deployment engineering，价值实际但不构成方法论突破。inline router 介于两者之间：如果 routing 真能反映图像冗余，它是 test-time compute allocation；但论文给出的 std 很小，说明它可能更多是在 fixed schedule 周围做微调，增益来源不清。

校准改善很可能主要来自 multi-exit distillation / auxiliary supervision，而不是 Fusion 顺序本身。early-exit heads 被迫在多个深度拟合 teacher logits，会让中间层表征更 aligned、更 calibrated。能量收益也不完全是 token adaptation 的胜利，而是 early exit 跳过整块 transformer block 后绕开固定 kernel/memory overhead；这属于真实部署优势，但不是 FLOPs 分析能解释的纯算法收益。

Relation To Prior Work

Fusion 最接近 ToMe、DynamicViT/EViT、early-exit ViT 以及 ToFu/LTMP 这类组合式 token adaptation。它没有发明新的 token merging，也没有发明新的 early exit；很多模块都是已有思想重组。真正不同的是它不试图把 pruning 和 merging 设计成一个 unified operator，而是明确研究 independently motivated mechanisms 之间的 interference，并用顺序组合解决。

相对 ToMe，Fusion 的新增信息是 merging 不只是压缩算子，而是 early-exit 前的 representation-preserving preconditioner。相对 DynamicViT/EViT，Fusion 的判断是 pruning 不应过早发生，因为它会破坏深度自适应。相对 early-exit 方法，Fusion 强调 exit confidence 必须建立在稳定 token distribution 上。相对 ToFu 这类 joint operator，Fusion 的创新更工程可迁移：它保留模块化机制，只改变执行图。技术谱系上它属于 adaptive inference / test-time compute allocation，而不是 architecture search 或纯模型压缩。

Dataset / Evaluation

评估覆盖了 ImageNet-1k 和若干较小分类数据集，并包含 DeiT-S、ViT-Tiny、DeiT-B 等 backbone；这足以支持“在 ViT image classification 上该顺序机制有用”的 claim，但不足以支持更广义的视觉感知泛化。论文有 same-session comparison、能量测量、latency/throughput 和 calibration，这比只报 FLOPs 更接近 deployment reality，尤其能量结果有实际价值。

但 evaluation 的边界也明显。任务全部是 single-label classification，没有 dense prediction、detection、segmentation、video 或 open-vocabulary 场景，因此“backbone-agnostic / generalizable”仍然偏弱。profile thresholds 和 keep ratios 依赖 held-out validation tuning，benchmark 上的 operating point 可能经过较强选择。ViT-Tiny 上掉点较大，说明方法对模型冗余度敏感。最支持核心 claim 的证据是 parallel vs sequential ablation，而不是主结果表；主结果中的部分收益可能来自训练预算、distillation、auxiliary heads 和 threshold tuning 的共同作用。

Limitation

方法成立依赖几个隐含前提。第一，backbone 必须有足够 token redundancy 和 layer redundancy；否则 merging/pruning/early exit 的组合空间很小，小模型上已经出现明显精度损失。第二，中间层必须能被 auxiliary heads 校准到可退出状态，这依赖 distillation 和训练数据覆盖；在 domain shift 下 exit confidence 是否可靠，文中未充分说明。第三，validation-tuned profile 把部署自适应的一部分成本转移到离线校准，不能保证新硬件、新分布、新 batch regime 下仍保持同样 Pareto。

增益归因也不完全清晰。顺序机制确实避免了 pruning-exit interference，但最终性能还混入了 multi-exit supervision、teacher distillation、profile scaling 和 layer-set heuristic。routing 的 input-conditional 性质证据偏弱，std 很小，可能主要来自 fixed budget schedule 附近的小幅扰动。所谓 single-checkpoint multi-profile 更像 practical engineering：有用，但不是模型学会了连续可控计算策略。另一个上限是，pruning 被推迟后，早期 FLOPs saving 主要靠 merging 和 exit；对于不能 early exit 的困难样本，后段 pruning 的收益会受限。

Takeaway

• 最值得记住的不是 Fusion 的具体模块，而是 adaptive mechanisms 组合时必须按信息破坏程度排序。
• 未来高效 ViT 不应只比较单个 token selector，而应研究 compression、confidence、halting 之间的因果依赖。
• 第二个 takeaway 是 early-exit 的可靠性高度依赖 token distribution stability；任何在 exit 前改变 token support 的操作都可能让置信度变成伪信号。
• 这个 insight 可以迁移到 NLP early exit、Mixture-of-Experts routing、多阶段 retrieval-compute pipeline。

一句话总结

Fusion 是一篇把 ViT adaptive inference 从“多个压缩算子叠加”推进到“按表示稳定性组织 test-time compute 流程”的工作，实质贡献是发现并利用 merge、exit、prune 之间的顺序依赖，而不是发明新的压缩模块。