精读笔记

Problem Setting

这篇论文实际处理的是 MLLM 推理时视觉前缀过长导致的 prefill 计算浪费，尤其是视觉 token 在 LLM backbone 内被反复 attention 和 FFN 更新的成本。关键矛盾不是“视觉 token 多不多”，而是“为了不丢失细粒度视觉证据，模型需要保留完整视觉序列；但完整保留又会让每层都为大量视觉 rows 付费”。以前方法卡在两个粗粒度假设上：token pruning 假设冗余主要在 token 维度，layer-wise skipping 假设冗余主要在整层维度。前者会永久删除可能 later-relevant 的证据，后者会把 attention 和 FFN 一起砍掉，无法区分视觉信息路由和视觉语义变换哪个才是当前层真正有用的部分。

Motivation

作者最重要的动机不是“视觉 token 很多所以要加速”，而是发现 raw hidden-state movement 不是 useful computation 的可靠 proxy。late layers 中视觉 token hidden states 仍可能有大幅变化，但这种变化对 final prompt-token hidden state 的一阶影响很小；也就是说，视觉分支在继续做事，但答案侧几乎看不到。这解释了为什么一些 late-layer freezing 能不怎么掉点，也解释了为什么仅凭层位置或更新幅度做策略会不稳定。缺口在于已有工作没有回答一个更细的问题：在某一层里，视觉 attention 和视觉 FFN 是否同等重要？如果二者功能不同，把它们绑定成一个 layer decision 本身就是错误建模。

Core Idea

论文的核心思想是把视觉冗余从“删哪些 token / 跳哪些层”改写成“哪些视觉 operator 对答案可观测”。attention 和 FFN 被视为两类不同的视觉计算：attention 更像跨 token 的路由和重组，FFN 更像逐 token 的非线性语义变换。某层可能需要 attention 把视觉证据对齐到问题，也可能只需要 FFN 继续 refine 表示，也可能二者对答案都近似 silent。因此策略不是压缩视觉输入，而是在保持完整视觉 token 序列的前提下，选择性绕过视觉 rows 上的 attention、FFN 或全部更新。

这个建模方式的本质差异在于：它不再把“视觉证据”和“视觉计算”混为一谈。token pruning 通过丢证据省计算，ShortV / V-Skip 通过固定粒度省计算；这篇论文试图保留 evidence bandwidth，同时削掉 answer-silent transformation。这个 inductive bias 更适合高分辨率、多 OCR、小物体场景，因为视觉 token 仍在序列里，文本 token 后续仍可 attend 到它们，只是某些视觉 token 自身不再每层更新。

Method

方法上最关键的是三件事。第一，作者提出 answer-observable diagnostics：VUM 衡量视觉 hidden state 动了多少，AOI 衡量这种动通过 Jacobian-vector product 传到 final prompt token 多少，AOE 衡量单位视觉更新的答案侧影响。这部分主要用于证明“动得大不等于有用”，不是最终加速策略的全部。

第二，真正用于策略选择的是 operator risk analysis：对每层分别 counterfactual 地移除视觉 attention、视觉 FFN 或二者，比较 next-token distribution 相对原模型的 KL 偏移。这个设计解决的是 label-free calibration 问题：不用人工答案，也不用训练，只用原模型自己的输出分布当 reference。

第三，预算化选择低风险层，并按风险更小的 operator 执行跳过：若跳 attention 风险低，则保留 FFN；若跳 FFN 风险低，则保留 attention；若二者一起跳风险也低，则 freeze visual update。机制层面的变化是，文本 token 的原始计算保持不变，视觉 token 序列也保持不变，省掉的是视觉 rows 在 selected operators 上的更新成本。

Key Insight / Why It Works

这篇最值得重视的 insight 是 answer-silent redundancy：MLLM 内部存在大量对视觉 hidden state 本身有影响、但对答案生成几乎不可见的计算。这个判断比“后层视觉 token 不重要”更精确，因为它区分了 representation movement 和 answer-side causality。方法有效的根因大概率不是某个具体 KL 阈值或预算，而是它把加速目标从“减少视觉信息量”改成“减少答案不可观测的视觉状态更新”。

第二个核心点是 operator dominance。attention/FFN 在 LLM 中本来就承担不同表示角色，把它们在视觉 rows 上分开处理是合理的 inductive bias。ablation 中固定跳 attention 崩得很厉害，固定跳 FFN 也不稳，说明 V-Skip 式“某个 operator 总是更冗余”的假设过强。risk-based assignment 的收益说明有用视觉计算确实是 layer-dependent + operator-dependent，而不是单调随深度消失。

我认为这篇的实质贡献主要是 better test-time compute allocation，而不是新的模型能力。它没有提升视觉理解能力，只是更聪明地复用已有表示、减少不传到答案侧的计算。因此它属于 memory/reuse + inference-time sparsification，而不是 scaling、retrieval 或 representation alignment。部分增益可能来自 engineering：视觉 rows 局部跳过、FLOPs 统计和 kernel 实现都会影响真实收益；但 operator-level risk 的 ablation 说明它不只是简单工程剪枝。

Relation To Prior Work

最接近的是三条线：视觉 token pruning/compression、layer-wise visual token freezing/withdrawal、以及 V-Skip 这类 block/operator skipping。和 token pruning 的本质差异是，它不压缩 evidence carrier，而压缩 evidence carrier 的后续变换；这使它更适合细粒度任务，但计算节省上限也低于激进 pruning。和 ShortV/VTW 的差异是粒度更细：不是整层视觉状态停止更新，而是在层内判断 attention 与 FFN 哪个可跳。和 V-Skip 的差异最直接：V-Skip 基本假设视觉 attention 是主要可省对象，而本文认为 attention/FFN 的重要性随层变化，固定偏好会错杀。

看似新的部分中，label-free KL risk、budgeted layer selection、late-layer freezing 都有已有思想影子；真正新增的信息是把 answer-observable 诊断和 operator-level counterfactual 结合起来，证明 visual redundancy 不是 token-aligned 或 block-aligned，而是 operator-aligned。它在技术谱系上更像 structured inference sparsification，而不是模型压缩训练或 token selection。

Dataset / Evaluation

评估覆盖多个 backbone 和多类 benchmark，任务范围包括通用 VQA、OCR/text-rich、hallucination、science/diagram/reasoning，足以初步支持“不是只在单一模型或单一任务上有效”。尤其 Qwen3-VL 上较高 retention 以及 LLaVA-NeXT appendix 对高分辨率设置的补充，使 claim 比单一 LLaVA 实验更可信。

但 evaluation 仍主要是离线短答案 benchmark，验证的是 first-token/prefill 场景下的平均分保留，而不是长生成、多轮交互、agentic visual reasoning 或真实服务负载。作者报告了 latency，但系统层面还不够充分：operator skipping 的真实收益依赖 kernel 是否能有效利用 irregular visual-row skipping，否则 FLOPs 降低可能不能线性转化为吞吐。calibration set 来自多个 benchmark，虽然无标签，但仍可能让 policy 更贴近这些评测分布；跨域图像、不同 prompt template、不同 decoding policy 下的稳定性文中未充分说明。

Limitation

最大前提是 final prompt-token hidden state / next-token distribution 能代表后续答案质量。对单步或短答案 VQA 这基本成立，但对长答案、逐步推理和多 token 生成，视觉信息可能在后续 decode 中以不同方式被重新访问；首 token 风险低不等于整段生成风险低。第二，policy 是 per-model 固定而非 per-sample adaptive，这会牺牲对难例、OCR密集图、复杂空间推理图的自适应能力。第三，方法保留完整视觉 token，因此显存和 KV-cache 中视觉 token 相关开销仍在，理论节省主要来自 selected visual-row operator compute，上限天然低于强 pruning。

还有一个归因问题：AOI/AOE 诊断很漂亮，但最终策略主要靠 KL risk，而不是直接优化 answer-observable efficiency；两者之间的关系文中没有完全闭合。增益来源不清的部分在于：risk calibration 是否只是为每个 backbone 找到一组稳定 late/mid layer skip mask？如果是，那么 operator insight 是解释性增强，但实际部署收益可能主要来自模型内部已有的 late-layer redundancy。文中未充分说明在更开放分布、长上下文、多图和视频输入中这些 risk profile 是否仍稳定。

Takeaway

• 1. 对 MLLM 加速，未来不应只问哪些视觉 token 可删，而应问哪些视觉计算对答案可观测；这比 token importance 更接近因果效用。
• 2. attention 和 FFN 在视觉分支上的冗余不是同步出现的，operator-level policy 是比 layer-level policy 更自然的结构化稀疏单位。
• 3. 保留完整视觉 token、跳过 answer-silent updates 是一个值得迁移的设计原则，尤其适合 OCR、小目标、图表等不允许过早丢证据的任务。
• 4. 下一步真正值得做的是 sample-adaptive / generation-aware compute controller：让跳过策略随输入难度、问题类型和解码阶段变化，而不是固定 per-model mask。

一句话总结

《Attend, Transform, or Silence》把 MLLM 视觉加速从粗粒度 token/layer pruning 推进到 answer-observable operator-level test-time sparsification，真正贡献是证明并利用了视觉 attention 与 FFN 在不同层中非同步、非等价的答案侧效用。