精读笔记

Problem Setting

论文解决的不是普通 VQA 能力不足，而是 long-horizon LVLM reasoning 中视觉证据通道随生成过程失效的问题。关键矛盾是：模型需要持续依赖图像来校正推理，但 autoregressive decoding 会越来越依赖已经生成的文本上下文；早期视觉读取一旦错，后续 CoT 会把错误当成事实继续推。以前方法多卡在两个点：一是把视觉遗忘看成后期 attention decay，因此干预太晚；二是只关心视觉 attention 总量，忽略注意力可能集中到无信息 sink token 上。真正难点不是“增加视觉注意力”，而是让注意力在正确时间、正确视觉子空间中保持有效。

Motivation

已有路线不够的原因在于它们多是 reminder-style 或 post-hoc attention lifting：能暂时把视觉 token 拉回来，但没有改变模型在训练中形成的 attention dynamics。作者的核心观察有两个：早期视觉注意力被压制会造成远超后期压制的性能损失；视觉注意力即使保留下来，也可能被少量 task-irrelevant sink token 吸走。由此缺口变得很明确：需要一个训练时目标，同时约束 temporal trajectory 和 intra-visual allocation。这个动机比单纯“视觉遗忘导致幻觉”更具体，因为它把问题拆成 when 和 where 两个可干预因子。

Core Idea

LASER 的核心思想是：不要把视觉遗忘当作推理时补救问题，而要在 RL post-training 阶段直接塑造模型的视觉注意力动力学。它引入的 inductive bias 是，长链视觉推理需要一个持续可访问的视觉证据通道，并且该通道不能被 sink token 这种内部结构性吸附点污染。

本质区别在于，prior 多是在输出层或推理流程上增加“再看一眼图”的机制，而 LASER 试图改变 policy 在生成每一步时如何分配内部 attention。它重新组织的是图像 token 到语言 token 的信息流：从“早期压缩后主要靠文本滚动”变成“整个 trajectory 中持续从非 sink 视觉 token 抽取证据”。如果这个假设成立，它比 hand-crafted reminder 更 scalable，因为不依赖固定反思模板，也不增加测试时视觉重注入流程。

Method

方法层面最关键的不是 GRPO 本身，而是 reward 如何定义视觉证据使用。第一，sink token identification 把视觉 token 分成 sink 与 non-sink，解决的是“高 attention 不等于有效 grounding”的问题；如果不做这个区分，增强视觉 attention 可能只是增强模型已有的吸附偏置。第二，Visual Grounding Reward 只奖励 non-sink visual attention 的持续性，解决早期 grounding 断裂和中后期视觉 disengagement；它的核心变化是把视觉注意力轨迹变成 policy optimization 的一部分。第三，Sink Suppression Reward 惩罚 sink token 的相对过度关注，解决 R_vis 的副作用，即 attention 总量上升可能进一步喂大 sink。第四，accuracy gating 很重要：只有答对时才给 attention reward，避免模型学会无意义地调 attention 以拿奖励。

Key Insight / Why It Works

最重要的 insight 是：visual forgetting 不是单一的 magnitude decay，而是 magnitude decay 与 distributional collapse 的耦合。很多方法只处理前者，所以可能把注意力从“少看图”修成“多看无用视觉 token”。LASER 真正有效的部分大概率是 R_vis 与 R_supp 的组合，而不是任一单项；论文自己的分析也显示，单独提高视觉 grounding 会推高 sink attention，这说明 sink suppression 不是装饰项。

从机制归因看，这更像 better inductive bias 和 representation alignment，而不是 test-time compute、retrieval 或单纯 scaling。它用 attention reward 把视觉 token 的使用方式对齐到“持续、非 sink、正确答案条件下”的轨迹上。R_vis 负责 memory reuse：让视觉证据不要只在开头被一次性压缩；R_supp 负责 latent structure regularization：压制模型内部的注意力吸附异常。

但需要直接指出：attention reward 是否等价于真实视觉因果使用并不成立。模型可能学会满足注意力统计而非真正改善视觉推理。另一个不清楚点是增益中有多少来自 45K RL 数据、cold-start、GRPO 训练本身以及 evaluation recipe。尤其 MathVista full 上不占优，作者用 Visual-Targeted subset 补充说明，这合理但也暴露 benchmark 对 claim 的验证并不干净。

Relation To Prior Work

这篇最接近的是视觉遗忘缓解、vision-aware RL、attention manipulation 和 visual reminder 系列。和 Reflection-V / VAPO 这类方法相比，LASER 的差异不是“也用了视觉奖励”，而是把 attention 的时间维度和视觉 token 内部分布同时纳入训练目标。和 inference-time attention reallocation 相比，它的实质新增信息是把重分配从测试时 heuristic 变成训练时 policy bias。

看似新的部分中，GRPO、视觉 attention preservation、sink token 识别都不是全新思想；真正有价值的是把 visual sink 现象和 long-horizon visual forgetting 连接起来，并证明“保总量不够，分布也要管”。它属于 RLHF/RLAIF 后训练中的 process-level internal signal shaping 谱系，而不是新架构路线。实质创新在 diagnosis + reward design 的组合，工程上并不复杂，但问题刻画比较准。

Dataset / Evaluation

评测覆盖数学视觉推理、通用多模态推理、逻辑推理和幻觉/视觉错觉，能部分验证“视觉 grounding 改善”这一 claim。它的优势主要体现在更依赖视觉细节或视觉证据持续使用的任务上，这和方法假设一致。补充的 Visual-Targeted MathVista 是一个有用检查，因为 full MathVista 中存在文本可解样本，会稀释视觉 grounding 方法的真实效果。

但 evaluation 仍有明显限制。第一，没有真实世界交互、视频、多图或长期状态任务，离 deployment 中的持续视觉 grounding 还有距离。第二，baseline 数字部分来自原论文，统一性有限。第三，attention 轨迹分析支持机制解释，但不能完全证明模型因视觉证据而答对。第四，训练数据来自现有 multimodal reasoning corpora，benchmark overlap 或分布邻近导致的隐式记忆不能排除。

Limitation

方法成立依赖三个强前提：attention 是可优化且有意义的 grounding proxy；sink token 在模型族内稳定且可识别；non-sink attention 增强会更接近任务相关区域。但 non-sink 并不等于 salient，sink 也不必然总是无用，尤其在某些结构化图像或特殊 tokenization 下，这个划分可能过粗。

scalability 也未充分说明。论文只在 Qwen2.5-VL-7B 上系统验证，视觉 encoder frozen、额外 forward 获取 attention，训练开销可接受但不免费；换到更大模型、MoE、不同视觉编码器、flash attention 不暴露 attention map 的系统时，成本和可实现性都可能变差。泛化方面，当前证据更像“对相近 benchmark 的视觉注意力正则有效”，还不能证明形成了稳定的长期视觉状态建模。

增益归因不完全干净。LASER 叠加了 cold-start、GRPO、45K 数据过滤、格式奖励和 attention reward，虽然 ablation 有帮助，但仍不能排除核心能力主要来自数据覆盖或 RL recipe。所谓 reasoning 改善也可能只是减少早期视觉误读，并不代表模型获得了更强 planning。

Takeaway

• 1. 视觉遗忘以后不应只看 visual attention proportion，总量指标很容易掩盖 sink collapse；attention 的 token-level 分布会成为更重要的诊断对象。
• 2. 对 LVLM reasoning，早期视觉 grounding 可能是比后期 reflection 更关键的瓶颈；未来方法若只在中后期插入 reminder，很可能治标不治本。
• 3. LASER 推动的是一种 internal-signal RL 后训练范式：不只奖励答案，还奖励模型在生成过程中以更合理的内部路径到达答案。
• 这个思路可迁移到 video grounding、tool-use grounding、retrieval grounding 和多模态 agent 的 memory control。

一句话总结

LASER 是一篇把 LVLM 视觉遗忘从“后期少看图”重新定义为“早期 grounding 断裂 + sink attention collapse”的后训练方法，贡献主要在 attention dynamics 的问题刻画与奖励塑形，而不是新模型架构。