精读笔记

Problem Setting

这篇论文处理的是长文档多模态 QA 的后验证据归因：答案已经给定，系统要在同一个 interleaved document 中找出支撑该答案的文本 span、图像，或二者组合。真正困难点在于 attribution 的搜索空间同时跨越 token-level text、image slot/patch，以及 modality decision；模型不仅要找“相关内容”，还要判断哪些内容是回答中某个事实的必要支撑。以前方法卡在两个地方：生成式 citation 把 attribution 当成语言输出问题，长文档下成本高且容易过度引用；RAG-style 方法把问题简化成候选池选择，绕开了 full-document localization；text-only retrieval-head 方法又无法解释视觉证据。关键矛盾是：部署中需要低成本、细粒度、跨模态的 evidence localization，但现有强方法大多靠额外推理、候选检索或语言化中间表示来补。

Motivation

作者的核心观察是：MLLM 在回答长上下文问题时，prefill 阶段已经必须把问题/答案相关 token 对齐到文档证据；如果这些内部 attention routing 信号足够稳定，那么 attribution 可以从模型计算图中读出，而不是再让模型生成 citation。已有路线缺的是一个能直接利用 multimodal internal signal 的 attribution 机制。caption-based LLM 会丢掉细粒度视觉结构，prompting-based VLM 又需要解码并受 instruction following 影响，RAG 则依赖外部候选质量。作者选择 attention-head 路线，本质上是在利用模型已有的长上下文检索能力，把 attribution 从 output-space problem 转成 representation/attention-space problem。

Core Idea

MultAttnAttrib 的核心思想是：多模态 attribution 可以被视为模型内部 evidence routing 的读出问题。它不训练一个 citation generator，也不要求模型 verbalize evidence，而是在 prefill pass 中选择一小组跨模态 retrieval heads，聚合这些 heads 对文本窗口和图像 token 的注意力，得到支撑证据分数。这样 attribution 的信息流从“文档→模型→生成 citation”变成“文档→模型内部检索路径→直接读出 citation”。

这个建模方式引入的 inductive bias 很明确：真正支撑答案的证据应当在模型处理 query/answer token 时被少数 retrieval heads 高选择性访问；跨模态证据不是通过 caption 对齐，而是在统一 token 序列的 attention 空间中竞争。它和 prior 的本质区别不是“用了 attention”，而是把 attribution 绑定到 prefill 中的 causally selected heads，因此理论上更 scalable：不需要多轮调用，不随输出 citation 长度增长，也不依赖模型在解码阶段学会遵守复杂 citation prompt。

Method

方法中最关键的是 head identification、score aggregation 和 threshold calibration。Head identification 解决的是“哪些 attention heads 真正在做 evidence routing”的问题。作者比较 mean attention 与 CMA，最终用 clean/corrupt evidence 的间接效应来打分；这一步的核心变化是从相关性筛 head 转向弱因果筛 head，降低选到 decorative attention 或 modality-local routing head 的概率。

Score aggregation 解决的是“如何把内部注意力变成可比较的证据单位”。文本用 sliding window 聚合，图像用 image slot/patch 聚合，再做 joint min-max normalization。其必要性在于 attribution 输出空间不是 token attention 本身，而是可返回给用户的 span/image citation；这一步把底层 attention map 映射成任务可评估的 evidence candidates。

Calibration 解决的是“attention 分数没有自然 citation 边界”。作者用 probe set 分别为 text/image 扫 F1 阈值。这里的本质不是训练，而是把 internal score distribution 对齐到 benchmark 的 citation policy。它带来性能，但也意味着方法不是完全无监督；training-free 只意味着不更新模型参数。

Key Insight / Why It Works

最重要的 insight 是：长上下文 MLLM 的一部分 attention heads 已经承担了可复用的 retrieval function，且这些 heads 在文本和图像之间存在共享底座，只是在 top ranks 上有模态专门化。MultAttnAttrib 有效，很可能不是因为后处理复杂，而是因为它找到了模型内部已经存在的 sparse retrieval circuit，并避免了生成式 citation 的解码噪声。

真正的核心贡献应是 CMA-based cross-modal head selection。Mean attention 只能告诉我们 head 看哪里，不能说明这个 head 是否参与证据使用；clean/corrupt 对比至少更接近“该证据变化是否改变 head 对 ground-truth region 的行为”。这比简单 attention rollout 更有说服力。阈值校准和 sliding window 更像必要工程，不是主要科学贡献。

性能增益大概率来自三部分：第一，better inductive bias，把 attribution 约束在模型内部 retrieval signal 上，而不是开放式生成；第二，memory reuse，直接复用 prefill attention，避免 test-time decoding compute；第三，轻量 supervised calibration，使分数边界贴合 MultAttrEval。它不是 scaling 论文，也不是新的 reasoning 能力；所谓跨模态 attribution 更像是利用已有 MLLM 的 latent retrieval structure。需要警惕的是，joint text-image case 中方法可能只是分别检索到相关 text 和 image，并不一定证明模型理解了二者的互补因果关系。

Relation To Prior Work

这篇最接近的是 retrieval-head / mechanistic attribution / attention traceback 这条线，而不是 citation-generation 或 RAG attribution。和 ALCE、Self-RAG、citation fine-tuning 的区别在于它不把引用作为生成目标；和 verifier/RAG 后处理的区别在于它不引入外部 evidence selector；和 text-only retrieval-head 工作的区别在于它把 head selection 与 scoring 扩展到图像 token，并分析了跨模态 head overlap。

看似新的部分有一部分是已有思想重组：attention aggregation、head sparsity、probe calibration、sliding-window span scoring 都不是新概念。实质创新在于把 causal head isolation 用到 multimodal attribution，并提出“retrieval heads 在 broader population 中跨模态共享、top ranks 模态专门化”的经验发现。这个发现如果稳定，价值比具体算法更大，因为它暗示多模态 grounding 可以通过少量内部路由单元读出，而不必完全依赖生成器的 citation behavior。

Dataset / Evaluation

MultAttrEval 的价值在于它把评测从候选 citation selection 推向 full-document multimodal localization，覆盖 text-only、image-only、text+image 三种 attribution regime，并包含长 PDF 文档。这确实更接近实际文档助手场景，尤其比预先给定小候选池的 benchmark 更能验证 localization claim。

但 evaluation 仍有明显限制。首先，QAA 是生成式构造再过滤，不是自然用户日志；它验证的是 controlled attribution，不完全等价于真实 deployment。其次，image-only ground truth 多为单图像，而文档中存在近重复或装饰图片时，exact-match image scoring 会惩罚合理替代证据，可能放大或扭曲方法差异。第三，probe set 同时用于 head selection 和 threshold calibration，这使“training-free”的实验结论需要谨慎解读。第四，核心 claim 是跨模态 attribution，但 text+image 评测未充分证明模型捕获的是互补 grounding，而不是两个单模态检索结果的并集。

Limitation

方法的上限取决于 backbone 是否已经学会在 attention 中显式路由证据。如果模型通过 MLP state、distributed representation 或 late fusion 完成 grounding，而不是通过少数 heads 指向证据，MultAttnAttrib 可能失效。换言之，它不是普适 attribution 方法，而是建立在特定 transformer attention 可读性假设上的 readout。

泛化也没有被充分证明。head set 和阈值是在少量 MultAttrEval probe 上标定的，跨模型、跨视觉编码器、跨长文档分布是否稳定，文中未充分说明。增益来源也不完全清晰：可能部分来自 benchmark-specific calibration，而不是通用 attribution 能力。对于 joint attribution，方法可能把问题转移为“找到高 attention 的 text 和 image”，但并未解决二者是否共同必要、是否分别支撑答案不同成分的问题。

此外，attention-as-attribution 的老问题仍在。CMA 比 mean attention 更强，但它衡量的是 clean/corrupt 下 head attention 到 GT 区域的变化，不等价于对最终答案事实的完整因果贡献。文中也未充分说明 corruption 是否会引入分布外 artifacts，从而让某些 heads 因检测异常而得分。数据集方面，近重复图片、单源 image label 和生成式 QA 流程都会影响结论外推。

Takeaway

• 第一，multimodal attribution 可能不需要先 caption 或生成 citation；直接读 prefill attention 是一条低延迟、可扩展的路线。
• 第二，真正值得迁移的 insight 是 cross-modal retrieval heads：如果其他 MLLM 中也存在稀疏共享的 evidence-routing heads，那么很多 grounding / verification 任务都可以变成 internal signal readout。
• 第三，未来关键不在继续堆 prompting baseline，而在证明这些 heads 的跨模型稳定性、因果性以及对 joint evidence 的组合能力。
• 第四，benchmark 需要从“证据是否相似”推进到“证据是否对答案成分必要”，否则多模态 attribution 容易被检索式指标高估。

一句话总结

MultAttnAttrib 是把长文档多模态 attribution 从生成式 citation 推向模型内部 retrieval-head 读出的代表性工作，真正贡献在于证明 prefill attention 中可复用的跨模态 evidence-routing 信号可以以低成本替代大量 prompting-time attribution。