精读笔记

Problem Setting

论文标题：Pathways of Visual Information Flow in Vision-Language Models（arXiv preprint / 2026）。这篇论文实际解决的是 VLM 生成答案时视觉信息的内部路由归因问题：最后 token 的答案依据究竟来自 image tokens 的直接读出，还是来自已经吸收视觉信息的 query/text tokens。真正困难点不是定义任务，而是区分三件经常被混在一起的事：模型正常前向实际使用什么路径、某条路径被切掉后是否仍能完成任务、某条备用路径是否单独足够。以前基于 attention score 或 attention knockout 的方法卡在这里，因为它们天然回答 necessity / robustness 问题，而不是 usage 问题。关键矛盾是：VLM 可能拥有可替代的视觉通路，干预会触发 rerouting；因此“切掉 A 不掉点”并不等于“A 平时没被用”。

Motivation

已有路线不够的地方在于，它们把注意力边的存在、消融后的性能变化、以及正常计算中的因果使用关系混为一谈。Neo et al. 一类工作看到 object recognition 可以 direct image-to-last；Zhang/Kaduri 一类工作看到 text tokens 聚合视觉信息；这些结论看似冲突，本质上可能是在不同任务和不同干预 regime 下观察到了同一模型的不同可用路径。作者的核心缺口判断是：需要一种实验框架同时刻画默认路由和备用路由，而不是只问某条路径是否必要。直觉上，这个方向自然会想到 causal patching，因为反事实 patch 可以让 image/text/last token 表征携带相互冲突的信息，从而观察模型最终信谁，而不是观察模型在被破坏后还能不能补偿。

Core Idea

核心思想可以概括为：把 VLM 视觉信息流建模为两条并存但选择性使用的 pathway，而不是寻找一个全局唯一的视觉融合机制。direct pathway 对应视觉变量保留在 image token 表征中，最后 token 在较晚层直接访问；text-mediated pathway 对应视觉变量先被写入 query token 表征，最后 token 再从文本表征中读取。这个建模方式改变了 prior work 的问题形式：从“VLM 是否通过文本中介视觉信息”变成“在给定任务、数据分布和 prompt 下，哪条通路是默认使用路径，哪条只是可被激活的备用通路”。

这一直觉成立的原因是 autoregressive VLM 的文本 token 不是纯语言容器。经过 cross-token attention 后，query token 可以成为视觉信息的工作区：它们带有语义角色、被问对象、候选答案格式等结构，因此很适合承载需要绑定、比较、指代解析的视觉变量。相反，object identity 这类近似 attribute lookup 的任务可以直接从 image stream 读出，不必先写入 text stream。论文真正引入的 inductive bias 不是新架构，而是实验归因上的分解：usage / necessity / sufficiency 必须分别测。

Method

方法只保留三件机制上必要的事。第一，paired causal patching：构造原图和反事实图，文本保持一致但答案不同，然后分别 patch image tokens、text query tokens、last token 的 hidden states。它解决的是“正常前向中哪组表征携带可改变答案的视觉变量”，核心变化是让 image 与 text 表征在同一次推理中竞争，而不是看 attention 大小。

第二，attention knockout：屏蔽 image-to-last、image-to-text、text-to-last 的注意力边。它解决的是路径必要性问题，但作者明确把它降级为辅助证据，因为 knockout 会诱发 rerouting。这个设计的价值恰恰在于暴露 ablation 方法的局限：阻断 direct pathway 不掉点，不代表 direct pathway 没被正常使用。

第三，corrupted-input patching：把原始视觉输入替换成噪声/黑图，同时 patch 进来自真实图像 forward 的 text-token 表征。它解决的是 text-mediated pathway 是否足够的问题。这个实验非常关键，因为它证明即使 recognition 默认走 direct route，text tokens 仍可能已经编码了足够视觉信号，只是在正常图像信号存在时不主导输出。

Key Insight / Why It Works

最重要 insight 是：VLM 的视觉路径选择不是静态架构属性，而是任务变量、数据分布、prompt format 与干预状态共同决定的动态路由。object recognition 在 open prompt 下像 attribute lookup，direct image-token readout 足够；spatial relation 需要把目标物、参照物和关系词绑定，query token stream 更像中间工作区，所以 text-mediated 更自然；localization 在 synthetic 数据中简单到可 direct lookup，在 natural 数据中因为 distractor 和 grounding 复杂度上升而转向 text mediation。

方法有效的根本原因不是 scaling，也不是更强模型，而是实验设计把“信号在哪里”和“模型最终读哪里”拆开了。causal patching 让不同 token group 携带冲突答案，因此可以观察最终预测被哪组表征接管；corrupted patching 则证明 text stream 不是被动语言上下文，而是可复用的视觉缓存。这里最可能是核心贡献的是 usage/necessity/sufficiency 三分法，而不是具体任务结果。

需要直接判断的是：文中的 text mediation 不应被过度解释为真正 reasoning。它更像 representation alignment + latent workspace：query tokens 将视觉属性按语言问题结构重新索引，方便最后 token 读取。对于 spatial relation，这可能是 structured feature aggregation，而不是显式符号推理。choices prompt 触发 recognition 的 text mediation 也说明 prompt 中候选集会改变计算策略；这部分可能主要来自格式诱导和答案空间约束，不是模型能力提升。所谓 fallback 很强，可能部分来自 VLM 训练中大量 image-text alignment 让 text token 天然学会吸收视觉摘要；这更像数据覆盖和表示对齐的副产物，而非专门演化出的可靠规划机制。

Relation To Prior Work

这篇最接近三条线：attention/knockout 式 VLM 信息流分析、activation/causal patching 式机制归因、以及 language model backup circuit/self-repair 文献。它和 Neo et al.、Zhang et al. 等工作的本质差异不是又提出一个路径，而是解释为什么这些工作会得出不同结论：它们测到的是不同任务或不同干预状态下的不同路径。

看似新的 direct vs text-mediated 二分，其实概念上并不新；已有工作分别观察到过 final-token direct access 和 text-token aggregation。实质新增的信息是：两者可以在同一模型中共存，且默认使用路径与可用补偿路径可以相反。特别是 recognition 的案例很有杀伤力：causal patching 显示默认 direct，knockout 显示 direct 不必要。这把 prior 的冲突从“谁对谁错”改写成“不同方法回答不同问题”。

技术谱系上，它属于 mechanistic interpretability for VLMs，而不是模型改进论文。它的贡献不在性能，也不在新架构，而在于给 VLM intervention 研究提供了更严谨的因果语义：attention intervention 不能直接推出正常机制，必须和 patching 类 usage-sensitive 方法配合。

Dataset / Evaluation

评估设计总体支持核心 claim，因为任务覆盖了三种不同视觉变量：object identity、relative spatial relation、absolute localization，并且同时有 synthetic controlled data 和 natural images。synthetic 部分用于干净反事实，natural 部分用于验证路径切换不是纯玩具现象；这对“任务/分布会调制 pathway”这个 claim 是必要的。

但 evaluation 仍有明显边界。第一，所有任务基本都是单 token 或候选集合内的短答案，不覆盖 captioning、多轮 VQA、长链视觉推理、agentic setting。第二，natural counterfactual 大量依赖 horizontal flip 和 left/right 子集，这使空间任务的因果轴很干净，但也限制了 claim 的外推范围。第三，open prompt 下又使用 constrained-logit evaluation，这对机制分析有用，但和真实生成部署不完全一致；synthetic localization 中 restoration score 与 constrained accuracy 的错位就说明 metric 对 lexical space 很敏感。

跨 Qwen3-VL、InternVL、LLaVA 的复现增强了结论可信度，但这里仍是现有 open-weight VLM family 内的泛化，不等于所有 multimodal architectures 都有同样路径结构。论文没有真实部署或交互式场景，也没有证明这些路径在更复杂推理中以同样方式工作。

Limitation

最大限制是粒度。论文把 pathway 定义在 token group 层面，能说 image/text/last 哪组表征承载信息，但不能说明具体哪些 heads、MLPs、residual subspaces 实现 image-to-text 写入或 direct readout。因此它是机制轮廓，不是 circuit-level 解释。

第二，结论依赖任务简单性和答案形式。单词输出让最后 token 的读出位置很明确，但真实 VLM 使用中答案通常多 token、带解释、带不确定性，视觉信息可能在生成过程中反复被重读或重写。这里的 pathway 可能只是 first-token answer regime 下的机制。

第三，text-mediated pathway 的语义上限文中未充分说明。它是否真的做关系推理，还是把视觉 encoder 输出压缩成 query-conditioned cache，目前无法区分。所谓 spatial reasoning 更像被语言 query 组织过的视觉特征绑定；如果换成更复杂的组合、遮挡、计数、跨图比较，fallback 是否还能近乎无损，文中没有证明。

第四，prompt modulation 暴露了一个潜在问题：路径选择对表面格式很敏感。choices prompt 让 recognition 变成 text-mediated，说明候选答案列表可能把视觉变量写入文本流。这既是有趣发现，也意味着很多 benchmark 的机制结论可能被 prompt artifact 污染。增益来源不清，不能排除主要来自 answer-space constraint 和训练分布中的 multiple-choice 格式匹配。

第五，训练来源完全未解释。双 pathway 是否由 image-text alignment、instruction tuning、chat template、visual token compression 或模型规模导致，文中未充分说明。它证明了现象存在，但没有解释现象从哪里来。

Takeaway

• 最值得记住的不是“VLM 有两条路径”，而是：解释 VLM 信息流时必须区分模型平时使用什么、被破坏后还能用什么、某条路径单独是否足够。
• 未来做 VLM intervention，如果只靠 attention knockout，很可能测到 fallback 而不是默认机制。
• 第二个可迁移 insight 是 text tokens 可以作为 multimodal working memory，而不只是语言上下文。
• 对需要绑定、比较、指代解析的任务，视觉信息写入 query stream 可能是更自然的计算组织方式；对简单属性读出，direct image readout 更便宜。

一句话总结

这篇论文在 VLM 机制解释谱系中的位置是：它把视觉信息流从单一路径争论推进到“默认路由与可触发备用路由并存”的因果归因框架，真正贡献是澄清 attention 消融不能等价于正常机制。