精读笔记

Problem Setting

《Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models》（arXiv preprint / 2026）实际处理的是 self-evolving LMM 的目标错配问题：模型在无监督自训练中可以通过 answer agreement 获得奖励，但不一定形成更强视觉依赖。以前方法卡在一个关键矛盾上：自一致性奖励容易优化语言空间中的稳定性，而视觉理解要求生成过程持续受图像证据约束。真正困难不是没有图像特征，而是 decoder 在中后层生成时绕过视觉 token，用语言先验完成 plausible generation。于是 prior work 在结构化推理题上可能看起来进步，但在 captioning、region-level description、hallucination 上暴露出 under-conditioning。

Motivation

作者的核心观察是：现有 self-play / proposer-solver / self-consistency 路线把“输出一致”当成“视觉 grounding 改善”的代理指标，这在 LMM 里不成立。多模态模型的语言端足够强，很多答案可以靠统计共现、自身知识或模板化推理稳定地产生，而无需重新读取图像。缺口不是缺更复杂的角色分工，也不是缺更多 generated QA，而是缺一个直接约束视觉证据使用的无监督信号。VISE 的动机因此很明确：不要再奖励答案之间互相同意，而要奖励模型对图像可控扰动的响应是否符合视觉世界的结构。

Core Idea

论文真正的核心是把 self-evolution 的监督信号从 output-level consistency 改成 evidence-level invariance / sensitivity。几何变换给出一个无标注但可精确计算的等变性约束：同一个 query 在原图和变换图上的 box 应该由已知变换对应起来。区域 ghosting 给出一个局部反事实：如果模型说某个对象在某区域可见，那么遮蔽该区域后它应该承认对象不可见。这个建模方式引入了很强的 inductive bias：正确行为必须依赖图像证据的空间位置和局部可见性，而不是只依赖语言先验。

和 prior 的本质区别在于，VISE 不再构造多角色博弈，也不把“正确答案”作为隐式目标；它把模型自身预测变成可扰动对象，再用物理/视觉一致性验证预测是否 evidence-conditioned。这比 answer-consistency 更 scalable 的原因是 reward 不依赖标签、外部 judge 或特定任务答案，而依赖图像变换下的结构不变量；理论上更容易跨 captioning、VQA、hallucination 泛化。

Method

方法上最关键的是三件事。第一，单模型自提问：模型先从 raw image 生成一个 prominent、spatially unambiguous 的 localization query。这解决的是多角色 self-play 的博弈不稳定问题，也避免 proposer 生成 trivial query 或 solver 过拟合 proposer 分布；但它依赖基座模型已有足够视觉概念能力。

第二，geometric invariance reward：对图像做 affine/crop/flip 后，原始预测框经解析投影得到 expected box，再与 transformed view 上的新预测框计算 GIoU reward。它解决的是空间 grounding 不稳定问题，核心变化是让模型的定位输出必须随视觉结构一起变化，而不是每次生成一个语义 plausible 的框。

第三，semantic invariance reward：对原始预测框区域做 Gaussian blur，要求模型在原图判断对象可见、在 ghosted 图判断对象不可见。它解决的是“框稳定但语义任意”的漏洞，核心变化是把可见性判断绑定到局部证据是否存在。组合 reward 用 KL-regularized REINFORCE 更新 projector、FFN 和 decoder attention projections，冻结 vision encoder；这体现了作者的判断：失败主要发生在视觉特征到语言生成的使用路径，而不是视觉表征本身。

Key Insight / Why It Works

最可能真正有效的是 semantic ghosting，而不是几何一致性。消融显示 R_sem 贡献了大部分 captioning 和 hallucination 增益，这符合机制直觉：幻觉的根源是 evidence-agnostic generation，只有“移除证据后必须改口”才能直接打击这个行为。R_geo 更像辅助正则，防止模型把对象绑定到空间上不稳定或过大的区域；它改善 grounding，但不足以阻止语言先验生成。

这篇的本质不是 scaling，也不是 retrieval，也不是 test-time compute；更接近一种 better inductive bias + representation alignment。它把训练信号压到 decoder 是否使用视觉 token 上，通过反事实扰动迫使 cross-modal attention 路径承担因果责任。attention 提升和 CKA 结果说明模型在中后层更保留视觉信息，但这只是支持性证据，不应被过度解读为完整机制证明。

需要直接指出的是，部分增益可能仍包含 engineering / data effect：训练用了 COCO raw images，captioning benchmark 也含 COCO / natural image distribution，哪怕无标签，也可能通过自生成 query + LoRA 微调改善自然图像描述风格。Objects365 结果缓解但不能完全消除这个疑问。另一个潜在问题是 reward 可能诱导模型选择容易定位、容易被 blur 消除的对象，因此形成隐式 easy-object curriculum；这可能是有效的，但和“通用视觉推理能力提升”不是同一件事。

Relation To Prior Work

最接近的是 EvoLMM、iReasoner、VisPlay、VisionZero 这类 self-evolving / self-play LMM。它们的共同范式是通过内部生成的问题、答案、轨迹或一致性来获得 reward，本质上还是 output agreement 或 task correctness proxy。VISE 的实质差异是 reward 的验证对象变成了视觉证据使用本身，而不是答案质量。

看似新的部分里，几何等变性、自监督 transformation consistency、遮蔽/反事实可见性都不是全新思想；它们在 self-supervised vision、grounding、counterfactual learning、hallucination mitigation 中都有先例。真正新增的信息是把这些视觉一致性约束嵌入 self-evolving LMM 的 RL-style post-training，并明确指出 answer-consistency self-evolution 会强化 modality bypass。技术谱系上，它更像“视觉 grounding 正则化的无监督 post-training”，而不是传统意义上的 autonomous reasoning self-improvement。

Dataset / Evaluation

evaluation 覆盖面较广：captioning、VQA/reasoning、hallucination、多尺度 Qwen3-VL、多 backbone，以及 COCO/Objects365 训练域对照。它确实比只报 reasoning benchmark 更能验证核心 claim，因为 visual under-conditioning 最容易在 captioning 和 hallucination 上暴露；这些结果也支持 VISE 没有像 prior self-evolving baselines 那样出现明显 task tradeoff。

但 evaluation 仍主要是 offline benchmark，没有真实交互、长上下文、多轮 grounding、视频或 embodied setting。claim 中“visual conditioning policy 改善”主要由 attention ratio、CKA、hallucination/captioning 间接支持，缺少更强的 causal intervention，例如系统性遮蔽、关系扰动、对象替换、counterfactual image editing 下的行为测试。此外，训练和评测都集中在自然图像理解，能否迁移到 chart、document、UI、medical、robotic perception 等高精度视觉证据场景，文中未充分说明。

Limitation

第一，方法依赖基座模型已具备 self-query、grounding、visibility judgment 三种能力。若初始模型不能生成可靠 query 或 box，reward 就会变成噪声；作者说低质量 localization 会被低 advantage down-weight，但这不等于解决系统性偏差。

第二，ghosting 不是严格语义删除。blur 可能留下颜色、形状、上下文线索；反过来，过强遮蔽又可能引入分布外 artifact。模型学到的可能是“blur 区域意味着回答 no”的训练启发，而不一定是真正的因果视觉理解。

第三，泛化上限可能受单区域对象假设限制。很多视觉问题依赖多对象关系、计数、动作、物理状态或隐含属性，不是一个 predicted box 被 ghost 后就能验证。VISE 可能强化 object-level evidence binding，但不一定形成更强 compositional reasoning 或 planning。

第四，增益归因仍不完全清晰。LoRA 更新、冻结 encoder、自然图像 exposure、自生成 query 分布、reward shaping 都可能贡献性能；文中 ablation 证明 reward 有效，但没有完全拆开这些因素。所谓 reasoning 提升也可能部分来自更好的视觉读取，而不是推理链本身变强。

Takeaway

• 1. self-evolving LMM 的关键问题不应只看答案是否更一致，而要看生成路径是否更依赖视觉证据；output agreement 是一个危险的 proxy。
• 2. 对多模态 post-training 来说，最有迁移价值的是“反事实证据敏感性”这个 reward 设计：移除/扰动证据后模型必须改变判断，比让多个答案互相投票更接近 grounding。
• 3. 未来更值得做的是把 VISE 从 single-object grounding 扩展到 relation-level、event-level、multi-region 和 temporal evidence binding，而不是继续堆 proposer-solver 角色或更复杂 self-play。
• 4. 这篇推动的是目标函数层面的转向：从自洽推理优化转向证据条件化生成优化；这比具体的 blur、GIoU 或 LoRA recipe 更重要。

一句话总结

VISE 是 self-evolving LMM 从“奖励答案一致性”转向“奖励视觉证据依赖性”的一次有价值演化，真正贡献在于用无标注的几何与反事实扰动约束 decoder 的 visual conditioning，而不是让模型在语言空间里自我同意。