精读笔记
Problem Setting
[论文标题] Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation（arXiv preprint / 2026）
这篇论文处理的是 MLLM 知识蒸馏里一个更细的问题：小模型不只是要学会输出 teacher 的答案分布，还要学会 teacher 在生成答案时如何分配视觉证据。真正困难点在于，MLLM 的视觉 grounding 并不是一个静态中间表示，而是随 autoregressive response token 动态变化的过程。
以前的 logit KD 只约束 next-token distribution，视觉依据完全是隐式的；已有 attention KD 虽然显式蒸馏 attention，但多集中在 prompt-to-vision 或 block-level attention 上。问题在于 prompt 阶段的视觉注意不一定对应最终答案生成时的证据使用，block-level matching 又会抹掉 token 之间的 grounding 差异。
所以关键矛盾是：压缩模型需要继承 teacher 的细粒度视觉证据选择能力，但现有蒸馏目标要么只看输出，要么看错阶段，要么粒度太粗。
Motivation
作者的核心观察很直接：如果某种 attention alignment 真是好的蒸馏目标，它应该和下游性能相关。论文发现 prompt-to-vision attention similarity 与 VQA / compositional reasoning 表现相关性很弱，甚至 SFT baseline 可以有更高 prompt attention similarity 但性能更差；相反，response-to-vision attention similarity 与性能更一致地正相关。
第二个观察是 response attention 的变化主要发生在 token 维度，而不是层维度。相邻中间层的视觉 attention 高度冗余，但不同 response token 的模式差别很大：功能词可能是弱视觉依赖，实体词可能局部尖锐，场景词可能需要全局弥散。
因此缺的不是又一个 attention loss，而是一个更贴近生成过程的 supervision locus，以及一个能区分 token grounding role 的 loss geometry。
Core Idea
TRAG 的核心思想是把跨模态蒸馏重新建模为“生成时视觉证据轨迹”的蒸馏，而不是“输入理解阶段跨模态交互”的蒸馏。也就是说，它不再问学生在读 prompt 时是否像 teacher 一样看图，而是问学生在生成每个 response token 时是否像 teacher 一样调用视觉证据。
这引入了一个明确的 inductive bias：视觉语言对齐的关键监督应该绑定到输出 token，而不是绑定到 prompt token 或整段 attention map。这个 bias 比 prior 更合理，因为最终错误通常发生在生成时的证据选择：数错对象、漏掉局部属性、混淆关系，都是 response token 层面的 grounding failure。
第二个核心变化是 loss 不再假设所有 token 的 teacher attention 都应该用同一种分布距离匹配。高熵 attention 被视为需要覆盖多个视觉区域，低熵 attention 被视为需要集中到关键区域；于是 forward KL / reverse KL 的混合权重由 teacher entropy 决定。这本质上是在给不同 token 注入不同的 distributional preference。
Method
方法层面可以压缩成三个机制。
第一，监督对象从 prompt-to-vision 改成 response-to-vision。它解决的是 prior supervision locus 错位的问题：prompt attention 更多反映输入编码阶段的视觉接入，而 response attention 更接近 token 生成时的视觉证据使用。核心变化是把 grounding supervision 绑定到 autoregressive decoding step。
第二，对中间层 response attention 做聚合，而不是复杂 layer matching。它解决的是 teacher / student 深度不一致与层选择敏感的问题。作者的判断是层间冗余高，因此把层维度当作 nuisance factor，把 token 维度当作真正的信息维度。这一点也降低了 CompoDistill 式逐层匹配的工程负担。
第三，用 entropy-aware adaptive KL 做 token-wise matching。它解决的是固定距离函数无法同时处理 diffuse 与 localized attention 的问题。高熵 teacher attention 使用更多 forward KL，以避免学生漏掉 teacher 覆盖的区域；低熵 teacher attention 使用更多 reverse KL，以惩罚学生在非关键区域铺开概率质量。核心变化是把 attention distillation 从 uniform matching 变成 token-conditioned distribution regulation。
Key Insight / Why It Works
最可能有效的部分是 response-phase supervision，而不是 KL 公式本身。论文最强的 insight 是：MLLM 蒸馏中真正值得模仿的视觉 grounding 信号出现在生成阶段，而不是 prompt encoding 阶段。这解释了为什么 prompt attention matching 可能看似合理但收益有限，因为它监督的是一个与最终 answer token 选择间接相关的过程。
第二个有效点是 token-level granularity。很多视觉错误不是整句级别的，而是局部 token 级别的：颜色词、数量词、动作词、空间介词、实体词分别需要不同视觉证据。把整段 response attention 聚合后再蒸馏，会把这些局部证据冲淡。TRAG 等于是把 teacher 的 latent grounding trace 拆成一串局部 supervision signals。
entropy-adaptive KL 是合理的，但更像是对核心 insight 的 loss-level refinement。它的价值在于把“该覆盖”与“该聚焦”显式编码进 loss geometry；但这是否是不可替代的核心贡献，文中证据还不够强。因为 fixed MSE / cosine / KL 的比较能说明 weighted KL 更好，却不能完全排除调参、loss scale、数值稳定性带来的影响。
这不是 retrieval、不是 test-time compute，也不是 planning；本质上是 representation / attention alignment 加上更好的 inductive bias。能力来源仍主要来自 teacher 和数据覆盖，TRAG 做的是让小模型更准确地继承 teacher 的 response-time grounding pattern。所谓 compositional reasoning 增益更可能来自更好的局部视觉证据绑定，而不是产生了新的推理能力。
Relation To Prior Work
它最接近 LLaVA-KD、CompoDistill、Align-KD 这条 MLLM KD / attention distillation 路线。与 LLaVA-KD 的差异是，TRAG 不满足于 logit 和视觉侧 auxiliary alignment，而显式约束生成时的视觉注意。与 CompoDistill / Align-KD 的差异是，它不再把 prompt-to-vision attention 当作主要跨模态蒸馏对象。
看似新的部分里，attention matching、KL 蒸馏、forward/reverse KL 混合都不是全新思想；entropy 作为不确定性或分布形态信号也不是新概念。真正新增的信息是把这些东西放到 response-to-vision token-level attention 上，并用实验证明 prompt attention 不是好的能力 proxy。
所以这篇不属于架构创新，也不属于新训练范式；它属于“蒸馏信号重新定位”的工作。实质创新在于 supervision target 的选择和粒度判断，而不是公式复杂度。
Dataset / Evaluation
评估覆盖了通用 VQA 与 compositional reasoning，两类任务基本能触及论文 claim：前者看整体视觉问答能力，后者更能检验细粒度 grounding 和关系辨别。论文还做了 query token ablation、matching objective ablation、depth range ablation、attention fidelity 分析，这些实验方向是对核心机制有针对性的。
但 evaluation 仍是 offline benchmark 驱动，没有真实部署场景，也没有交互式、多轮或开放生成下的 grounding consistency 测试。attention fidelity 分析很有用，但它仍是 similarity 与性能之间的关联证据，不是因果证明。
另一个限制是所有训练和评估都围绕 LLaVA-style 数据与常见 VQA/CR benchmark 展开。泛化到更开放的视觉推理、长上下文视觉任务、视频、多图、多步规划任务，文中未充分说明。MobileLLaMA 结果说明 backbone 不是完全特化，但还不足以证明方法具有强跨架构泛化。
Limitation
最核心的前提是 teacher 的 response-to-vision attention 本身必须是有意义的 grounding trace。如果 teacher attention 与真实因果证据不一致，TRAG 会高保真复制这种偏差。论文默认 attention 可以作为内部 grounding proxy，但这个假设在 transformer 里一直有争议。
第二，方法依赖 teacher forcing 下的 token 对齐。teacher 和 student 最好共享或至少兼容 tokenizer、response sequence 和训练目标。作者也承认 tokenizer mismatch 是限制。更严重的是，训练时监督的是 ground-truth response trajectory，而推理时学生会沿自己的生成轨迹走；一旦早期 token 偏移，后续 attention target 未必适用。
第三，增益来源不完全清楚。TRAG 相比不同 baseline 同时改变了 supervision phase、granularity、loss form、layer aggregation方式和部分计算结构。虽然 ablation 覆盖了一些变量，但 response-only 与 token-level 看起来是主因，weighted KL 的独立贡献可能较小。
第四，scaling 上限取决于 teacher 质量和数据覆盖。Table 5 显示更大 teacher 带来更高收益，这说明方法能转移 teacher grounding，但也说明它不是生成新能力的机制。若 teacher 在长尾视觉关系、计数、OCR 或细粒度属性上失败，TRAG 没有额外纠错能力。
第五，所谓 compositional reasoning 提升不能过度解读。它更可能是 grounding fidelity 提升后带来的 benchmark accuracy 改善，而不是学生形成了更强的符号组合或多步推理能力。
Takeaway
- 1. MLLM 蒸馏里，attention supervision 的位置比 attention supervision 本身更重要；response-time grounding 比 prompt-time grounding 更接近能力瓶颈。
- 2. 对生成模型做多模态蒸馏时，token 是比 layer 更关键的组织单位。
- 未来的 cross-modal KD 可能会更多围绕 decoding trajectory，而不是静态中间层表征。
- 3. attention entropy 是一个可迁移的信号：它可以用来区分“需要覆盖”的 token 和“需要聚焦”的 token。
一句话总结
TRAG 是一篇把 MLLM attention distillation 从 prompt-stage block matching 推向 response-stage token-wise grounding alignment 的工作，真正贡献在于重新定位蒸馏信号，而不是提出复杂的新模型。