精读笔记

Problem Setting

[Attending to Multimodal Generation One Token at a Time]（arXiv preprint / 2026）

这篇论文解决的不是“MLLM 是否看图”，而是“在生成一个多部分回答时，模型什么时候把计算路由到图像、文本、指令或此前生成内容”。真正困难点在于 MLLM 的上下文不是静态输入：每一步生成都会把历史输出加入 causal context，使视觉 grounding、文本检索、格式控制、任务切换和语言流畅性叠在一起。

以前的可解释性工作主要卡在两个方向：要么做 layer/head/circuit 级别的局部机制定位，要么做视觉 token attribution / pruning 这类宏观统计。前者回答 where，但很难回答 generation unfolds when；后者能观察视觉 attention 衰减或局部定位，但通常不把“当前正在生成什么语义角色”纳入分析。本文的关键矛盾是：MLLM 的多模态能力是在时序生成中表现出来的，但解释工具通常把它当成一次性融合问题。

Motivation

作者真正抓住的缺口是 temporal interpretability：不是再问视觉信息在哪一层被编码，而是问模型在一段回答内部如何动态调度不同信息源。多任务/多答案生成里，模型必须先用视觉上下文，再切到文本上下文，期间还要遵守 instruction 和维持语言连贯性；这些行为不可能只靠静态 attention map 解释。

核心观察是：如果输出 token 有明确语义角色，那么 attention 的时间变化应该不是噪声，而是可读的 routing trace。视觉词、文本答案、handoff token、EOS 附近 token 对应的上下文依赖不同；把这些 token 混在一起平均，会把最有用的现象洗掉。因此本文不是缺一个更细的 head-level microscope，而是缺一个按生成语义组织时间轴的 analysis lens。

Core Idea

论文的核心思想是把 autoregressive decoding 重新建模为一个 token-level information routing process。当前生成 token 的 query 对各类上下文 chunk 的 attention，被视为“此刻模型从哪里取信息”的近似信号；然后根据输出 token 的语义角色，把不同样本的生成过程对齐，从而得到 dataset-level 的时序路由模式。

这和 prior 的本质区别在于分析坐标系变了：prior 多数沿模型结构展开，即 layer/head/circuit；本文沿生成时间和输出语义展开，即 token role。这个视角引入的 inductive bias 是：多模态生成的关键不是全程高视觉 attention，而是在正确 token 上激活正确模态。这个 bias 很实用，因为它天然支持 intervention：如果某个 token role 应该看图但没看，就在该时刻 boost image；如果某个峰值被阻断后行为崩掉，就说明该峰值至少具有功能相关性。

Method

方法的必要机制有三层。

第一，语义 chunk 化上下文。作者没有把输入粗暴分成 image/text，而是把 system、instruction、turn markers、control tokens、image、text、previous tokens 都纳入 chunk。这是在解决 MLLM prompt 结构复杂导致的归因混淆；否则一些高 attention 的特殊 token 会被误读成有效信息源。

第二，按当前生成 token 统计 chunk attention。具体做法是对所有层和 head 的 post-softmax attention 聚合，并取 CGT 到某个 chunk 的总 attention mass。这个设计牺牲了机制分辨率，但换来了跨模型、跨样本的稳定宏观信号。它解决的是“单样本 token trace 很丰富但不可比较”的问题。

第三，输出 token role 对齐。由于模型输出长度和措辞不固定，作者用语义标签把 token 映射到 FRUIT_CONCEPT、MATH_ANSWER、HANDOFF、Q1_ANSWER 等角色，再在角色层面平均 attention。这里的核心变化是把 generation alignment 从 index-based 变成 semantics-based。

第四，blocking 与 boosting。blocking 用于检验观察到的 attention 峰是否有因果作用；total blocking 比 lazy blocking 更强，因为它阻止目标 chunk 信息流向后续 token，而不只是阻止 CGT 直接看目标 chunk。boosting 则把 attention dynamics 变成 test-time control：在对应 token role 上增强相关模态，而不是全程增强视觉或文本。

Key Insight / Why It Works

最重要的 insight 是：MLLM 的多模态生成并不需要持续、高强度地关注视觉输入；它需要在语义上正确的时刻关注正确的信息源。这解释了为什么 DyRate 一类“视觉 attention 随生成衰减”的宏观结论不够：在多段任务中，视觉 attention 可以下降后再次上升，关键取决于当前 token 是否需要视觉证据。

方法有效的原因不是 attention 本身天然等于解释，而是它和两个约束叠加后变得有用：一是输出格式让 token role 可识别，二是 blocking 证明某些 role-specific attention 峰有功能必要性。换言之，核心贡献不是 attention 可视化，而是“semantic role-conditioned attention + causal intervention”的组合。

最可能的核心贡献是 temporal routing view。它把 MLLM 的图文能力解释成一种 instruction-conditioned controller：当前 token 的语义需求决定模型回看 image、text、instruction 还是 previous。previous attention 递增也很关键，它提示自回归生成里历史输出不是被动缓存，而是维持格式和语言连续性的工作记忆。

boosting 的有效性更像 test-time compute / routing correction，而不是新推理能力。它可能只是把模型已经具备但强度不足的模态通道放大，尤其在 VSR 中修正 LOV 偏向文本的路由偏差。增益来源不清：可能来自更强视觉 grounding，也可能来自改变输出分布、抑制语言先验或纠正 benchmark-specific response pattern。这里不能过度解读为“attention guidance improves reasoning”。

一些结果明显带有 engineering / scaling 成分。不同模型在 blocking 后出现 prior、denial、recovery，可能主要来自训练数据、alignment policy 和模型规模，而不是 OTaT 发现的普适机制。Qwen 的 denial/recovery 更像后训练行为或安全/指令遵循风格，文中未充分说明其架构或数据来源。

Relation To Prior Work

这篇最接近三条路线：MLLM mechanistic interpretability、attention-based attribution/intervention、autoregressive dynamics/pruning。和 layer/head/circuit 工作相比，它不追求定位具体组件，而是建立 generation-time 的宏观路由图。和 visual attribution / spatial localization 相比，它关注的是输出 token 的语义角色，而不是图像区域解释。和 token pruning / efficiency 工作相比，它也看 attention dynamics，但目的不是删 token，而是解释和控制生成。

看似新的部分里，chunk-level attention、attention blocking、attention boosting 都不是全新思想；真正新增的是把它们组织在“one token at a time + semantic role alignment”的框架里。这个重组很有价值，因为它把以往分散的 attention 统计、因果干预和 test-time steering 放到同一个 causal story 里。

实质创新在于指出 instruction token 在 handoff 处被 revisited，以及 previous tokens 在生成中逐步成为主要依赖。这比单纯说“图像 token 在视觉词处 attention 高”更有信息量，因为它把多答案生成解释成一种 instruction-mediated state transition，而不是简单的图文融合。

Dataset / Evaluation

评估设计总体服务于核心 claim。Fruit-Math 是一个刻意构造的诊断任务，把图像识别和文本数学拆开，减少模态冗余，因此非常适合观察路由是否按任务切换。VSR 引入图文冲突，能测试模型是否真的区分 image/text evidence。ChartQA 则提供更接近真实 VQA 的 entangled setting，说明现象不只存在于人工解耦任务中。

但 evaluation 的边界也很清楚。首先，很多结论依赖固定 response format 和可标注 token role；这对自由生成不成立。其次，Gemini 做 tagging 和 evaluation 虽然工程上合理，但引入了 hidden evaluator bias，尤其是 recovery、denial、prior 等错误分类可能受 prompt 影响。第三，VSR 上 boosting 的提升支持“role-aware modulation 有用”，但不完全证明它泛化到开放式多模态推理。

实验没有大规模真实 deployment，也没有复杂多轮、多图、长上下文任务。它验证的是受控场景下的 temporal routing hypothesis，而不是完整的 MLLM reasoning model。

Limitation

最大前提是输出语义角色可定义、可识别、且与上下文 chunk 有相对清晰的对应关系。一旦回答是开放式、多个证据交织、推理步骤隐式展开，role tagging 会变成瓶颈，甚至可能把解释问题转移给另一个 LLM tagger。

第二个前提是 attention mass 可以作为信息流 proxy。作者用 blocking 增强了说服力，但全层全 head 平均仍可能掩盖局部反向机制；某些 layer/head 可能与全局趋势相反。文中虽然补了 layer-group analysis，但没有真正定位哪些组件实现 routing。

第三，boosting 需要知道何时 boost 哪个 modality。论文中这个时刻来自任务格式和人工/规则化 role，而不是自动 planner。因此它更像 task-aware intervention，不是通用部署方案。若要用于真实系统，最难的部分会变成在线识别当前 token 的信息需求。

第四，模型差异的归因不足。blocking 后的 language prior、cross-modal leakage、denial、recovery 很有趣，但文中未充分说明这些差异来自架构、token order、训练数据、instruction tuning 还是规模。很多行为可能主要来自 scaling / data，而不是本文机制本身。

第五，增益归因不清。attention boosting 可能提升 grounding，也可能破坏某些错误先验、改变 decoding distribution、或利用 benchmark 的固定格式。它是否能提升真正的 planning/reasoning，文中没有充分证明。

Takeaway

• 1. 最值得迁移的不是具体公式，而是把生成过程按 token role 重新对齐：解释 MLLM 时应问“此刻生成什么，所以该看哪里”。
• 2. 多模态 grounding 不应被理解为全程依赖视觉 token；更合理的目标是 role-aware、time-local 的模态路由。
• 3. Instruction 在多任务回答中像一个 transition controller，previous tokens 像短期工作记忆；这两个信号在解释复杂 generation 时不应被当作杂项上下文忽略。
• 4. 未来真正值得做的是自动化 token-level information-need prediction，并把这种 routing control 从固定格式任务扩展到开放式、多轮、长上下文生成。

一句话总结

这篇论文把 MLLM 可解释性从静态结构定位推进到语义角色条件下的自回归信息路由分析，真正贡献是提出并验证了“正确 token 时刻看正确模态”的 temporal routing 视角，而不是一个新的模型架构。