精读笔记

Problem Setting

这篇论文不是在解决传统意义上的视觉识别能力不足，而是在解决 MLLM 对齐后的“视觉依赖路径”问题：模型可能已经在 latent space 中编码了正确视觉证据，但最终回答仍被语言先验劫持。真正困难点是，最终答案正确并不等价于 grounded；一个模型可以靠文本统计相关性答对，也可以靠图像证据答对，而标准 preference optimization 很难区分这两种因果路径。以前的 DPO/SimPO/DA-DPO 类方法主要在 outcome 或样本权重层面施加偏好，优化的是 answer margin，不约束 answer 如何产生。关键矛盾是：语言先验既是 MLLM fluency 和 reasoning 的来源，也是 hallucination 的来源；如果只奖励正确文本，训练会自然选择成本更低的 textual manifold shortcut。

Motivation

已有路线不够的原因在于它们没有显式回答“如果模型看不见图像，它是否还会同样自信地说出这个答案”。VCD/OPERA 之类 inference-time contrast 能暴露视觉依赖，但代价是推理时额外 forward，且通常依赖图像扰动，容易引入 OOD artifact；DPO 变体虽然能改善偏好学习稳定性或困难样本权重，但没有改变监督信号的因果结构。作者的核心观察是：visual laziness 的可观测症状不是单纯答错，而是 blind condition 下仍高置信。缺的不是更强 reward，也不是更多负样本本身，而是一个能把“视觉可访问性”作为反事实变量纳入优化目标的 alignment constraint。

Core Idea

VIGIL 的核心思想是把多模态对齐从“preferred response 比 rejected response 更可能”改写为“同一个 preferred response 必须在 seeing state 下比 blind state 下更可能”。这相当于给 DPO 加了一个因果反事实维度：不是只比较两个文本答案，而是比较同一答案在有无视觉访问时的概率变化。若视觉被切断后模型仍然高置信，那么该答案即使表面正确，也被视为 prior-driven，需要被惩罚。

这个建模方式引入的新 inductive bias 是：高置信输出必须对视觉通道敏感。它不是要求模型更多 attend image token，而是要求 response distribution 对跨模态连接的移除产生可测变化。相比单纯 reweighting 或 synthetic negative，这个约束更接近 representation alignment / causal dependency alignment：它试图把优化轨迹从 textual manifold 拉向 multimodal manifold。其潜在可扩展性来自于不需要外部 verifier 或新架构，只要能构造 matched blind state，就能附加到现有 offline preference tuning 上。

Method

方法层面真正必要的机制有三个。第一，attention-masked blind state：保留相同图像 token、位置编码和 projector 输出，只切断 text-query 到 visual key/value 的注意力连接。它解决的是图像扰动带来的 distribution shift，使 seeing/blind 差异尽量归因于视觉访问而非输入破坏。第二，CVD loss：把 seeing state 相对于 blind state 的 likelihood margin 写成 preference-style objective，并用 reference model 在 matched mask 下归一化。它解决的是 DPO 只比较 response、不比较 modality dependence 的问题。第三，dynamic gating：当 seeing-blind gap 已经足够大时减弱 CVD 约束，避免对已经 grounded 的样本过度 regularize。

Hard negative mining 有帮助，但从机制上看不是论文最核心的创新；它提供的是更尖锐的文本负例和更好的梯度，而不是新的 grounding 信号。真正改变信息流的是 blind counterfactual：训练时模型被迫学习“没有视觉证据时应该不确定”，这比单纯告诉它哪个答案错更接近纠正 causal attribution。

Key Insight / Why It Works

最可能有效的核心原因是 VIGIL 把 hallucination mitigation 从 outcome correction 转成 dependency correction。标准 DPO 会奖励 y_w 的高概率，但如果 y_w 与 x_t 高度相关，模型可以完全沿语言先验提升概率；VIGIL 要求提升 seeing likelihood 的同时压低 blind likelihood，使“靠文本也能自信输出”的路径变得有损失。这等价于在 policy distribution 上加入一个视觉敏感性约束，而不是在样本层面做 difficulty curriculum。

最核心贡献应该是 matched attention masking + CVD，而不是 VIG/PMI 术语本身。VIG 的信息论表述有解释力，但实际优化中它更像一个 counterfactual log-likelihood margin；所谓 mutual information maximization 近似是否严格成立，文中未充分说明。动态 gating 是合理的稳定器，但不是决定性机制；hard negatives 可能贡献相当一部分 benchmark gain，尤其在 hallucination benchmark 上可能提升负例覆盖。若去掉 hard negatives 仍有明显收益，说明 counterfactual anchor 确实有效；但完整增益来源不清。

这篇更像 better inductive bias + representation alignment，而不是 scaling、retrieval、test-time compute 或 memory reuse。它没有增加推理时计算，也没有引入外部知识检索；提升来自训练阶段改变概率几何结构。不过 scaling 叙事需要谨慎：72B 上增益更大可能说明大模型更能利用 counterfactual signal，也可能只是更高容量模型对全参 DPO、hard negatives 和大 batch 更敏感。spatial grounding 的 emergent claim 有意思，但可能来自图像-文本区域依赖被间接强化，不等于模型获得了稳定的显式 localization planner。

Relation To Prior Work

它最接近三条线：DPO 系列多模态偏好优化、VCD/contrastive decoding 类视觉反事实推理、以及 causal intervention / MMI 风格的 dependency maximization。看似新的部分并不是“用反事实”或“最大化互信息”本身，这些思想在多模态预训练、contrastive decoding 和 causal debiasing 中已有；真正新增的是把 seeing-vs-blind counterfactual 写进 offline preference objective，并且用 matched attention mask 避免图像扰动的 OOD 问题。

与 DA-DPO 的本质差异是，DA-DPO 仍在同一个输入状态下调整样本权重，VIGIL 则改变了比较对象：从 response-vs-response 变为 state-vs-state。与 VCD 的本质差异是，VCD 在 test-time 对 logits 做 contrast，VIGIL 在 post-training 中把这种 contrast 内化到权重里。与 GRPO 的差异不是 DPO 天然更强，而是当前任务的 reward 难以验证 causal grounding；如果 GRPO 显式采样 blind trajectories 并奖励 seeing/blind 差异，理论上可以接近，但计算会更重。

Dataset / Evaluation

评估覆盖 hallucination、开放式 VQA、数学/系统二推理、text-only retention 和 zero-shot referring localization，范围比较完整，能支持“不会明显牺牲通用能力并改善视觉一致性”的弱 claim。跨架构结果也有价值，说明问题不只存在于某个 projector-based 模型。

但这些 benchmark 主要仍是 offline 静态评测，不能充分验证真实 deployment 中的视觉依赖稳定性。POPE 等指标已有饱和趋势，AMBER/MMHal 更相关但仍依赖自动或半自动判断；VCC 使用 GPT-4o judge 作为辅助诊断，也可能引入评估偏差。RefCOCOg 提升支持空间 grounding 的迹象，但不能证明模型形成了可泛化的区域级 grounding 机制。数据构成中 hallucination/grounding 占比较高，hard negatives 又由参考模型生成，因此 benchmark gain 可能部分来自更好的负例覆盖，而非纯粹来自 CVD。

Limitation

最大前提是 attention-masked blind state 必须是一个合理的 causal intervention：它应当只移除视觉访问，而不改变模型内部计算分布。但 transformer 中跨模态信息可能通过早期融合、位置模式、prompt template 或训练先验泄漏，mask 是否完全等价于 do(x_v=empty) 文中未充分说明。另一个前提是 preferred response 确实需要视觉证据；对于高度常识化或语言先验本就合理的样本，强行扩大 seeing-blind gap 可能鼓励不必要的视觉依赖。

scalability 上限也不清楚。双路径训练虽然声称额外开销很小，但在复杂长视频、多图、多轮交互场景中，blind counterfactual 的构造和 credit assignment 会更难。方法主要约束 token likelihood，不直接验证中间推理链是否视觉一致，因此所谓 reasoning improvement 可能仍是更好的视觉 premise selection，而不是长期规划能力。增益来源不清：全参微调、大 batch、hard negatives、数据配比、benchmark overlap 都可能贡献显著提升。VIG/PMI 的信息论解释有一定包装成分，严格互信息估计并没有被真正实现。

Takeaway

• 最值得迁移的 insight 是：多模态 hallucination 不应只按答案对错优化，而应显式优化答案对视觉通道的反事实敏感性。
• 未来更有价值的方向不是继续堆 hallucination negative，而是构造更细粒度的 counterfactual state，例如 object-level masking、relation-level intervention、temporal blind state 或 region-specific causal tests。
• 这篇真正推动的是把 alignment objective 从 preference over outputs 推向 preference over dependency paths。
• 对其他模态也可迁移：audio-language、video-language、tool-using agents 都可以问同一个问题——当关键信息通道被切断时，模型是否仍然不该自信。

一句话总结

VIGIL 是一类从 outcome-level preference optimization 走向 counterfactual dependency alignment 的多模态后训练方法，其真正贡献是用 seeing-vs-blind 的概率几何约束惩罚 blind confidence，而不是简单提升 hallucination benchmark 分数。