精读笔记
Problem Setting
这篇论文实际解决的是 medical VLM evaluation/training 中的因果归因问题：当模型在医学 VQA 上答对时，答案到底来自图像证据，还是来自题干、答案先验、训练集共现和格式记忆。真正困难点不是构造更多医学问答，而是标准 accuracy 无法区分视觉推理与 shortcut exploitation。医学场景里这个矛盾更尖锐，因为数据集通常来源集中、问题模板固定、答案空间窄，模型可以通过语言先验获得看似不错的性能。以前的 instruction tuning、CoT、RL correctness alignment 大多仍优化最终答案，因此会把 shortcut 也当作能力奖励。本文的核心问题是：如何把“看图带来的因果贡献”从最终答题表现中拆出来，并让训练目标显式惩罚不看图也能保持同一答案的策略。
Motivation
已有路线不够的地方在于它们默认正确答案就是监督信号，但医学 VQA 的正确答案本身经常不是纯视觉监督。一个模型可能学到“这个问题模板通常答案是 yes”或“某类检查对应某类诊断”，并在 benchmark 上通过。作者的核心观察是，医学 benchmark 上图像替换造成的性能下降很小，而通用视觉任务上下降很大，这说明问题不是 VLM 完全不会看图，而是医学 VQA 的数据和评价没有迫使它看图。关键缺口是缺少 counterfactual grounding audit：同一问题下，如果视觉输入被移除、破坏或替换成相似但标签不同的图像，模型行为是否发生合理变化。论文的训练动机也来自这里：如果评测能暴露 image-invariant shortcut，那么训练时就应该直接惩罚这种 invariance。
Core Idea
核心思想是把“是否看见”定义成一种反事实敏感性，而不是解释图、attention 或 rationale 的可信度。模型若真正依赖图像，那么在保持问题文本不变、只改变视觉证据时，它的答案分布应当系统性变化；如果答案几乎不变，则说明文本先验或记忆占主导。这个定义很实用，因为它不需要访问内部激活，也不依赖模型自述理由。
训练上，CGO 把这个评测逻辑内化为优化目标：对每个样本检索一个视觉上相近但标签不同的 hard negative，要求模型在 real image 和 hard negative 下不要输出同一个规范化答案。它引入的 inductive bias 是“医学视觉差异应该改变最终临床判断”。这和普通 RL/指令微调的本质区别在于，后者奖励答案正确，CGO 奖励答案对视觉反事实有判别性。它比随机遮挡或简单 no-image 训练更有扩展潜力，因为 hard negative 可以随数据规模增长自动挖掘，形成更密集的局部决策边界约束。
Method
方法的关键不在模型结构，而在监督信号的重新组织。
第一，counterfactual evaluation 用多个视觉条件测同一题：blank/no-image 估计文本先验，shuffle 破坏全局语义但保留低层统计，hard negative 测视觉相似条件下的语义判别。这解决的是 accuracy 混合归因问题，核心变化是从单点评测变成同一样本的条件响应剖面。
第二，VRS、VHR、VBR、HN-Gap 等指标并不是普通 metric 堆叠，而是在刻画不同失败模式。VHR 尤其重要，因为 real image 错、shuffled image 对的样本说明真实图像没有帮助，甚至可能触发错误视觉解释；这比单纯 no-image accuracy 更接近安全风险。
第三，CGO 使用 CLIP hard negative 给训练制造“文本相同、图像相近、答案不同”的局部对比。它解决的是医学 VQA 中负样本太容易或太不相关的问题。随机负样本只会教模型分辨粗粒度域差异，hard negative 才会迫使模型在邻近视觉空间里移动决策边界。
第四，答案比较基于 normalized final answer 而不是 raw string，这是必要的。否则 CoT 长文本的随机变化会被误判为视觉敏感性。这个选择说明作者意识到 rationale 表面变化和真实决策变化不是一回事。
Key Insight / Why It Works
最可能有效的核心贡献是 hard-negative counterfactual supervision，而不是 LoRA、Qwen backbone 或 GRPO 本身。CGO 有效的原因很直接：医学 VQA 中很多 shortcut 在 real image 和 hard negative image 下都会给出同一答案；一旦把这种 answer invariance 显式惩罚，模型就不能只靠题干先验最大化 reward，至少要利用部分视觉特征来区分相似图像。
这本质上是 better inductive bias + retrieval-augmented contrastive data construction，不是新的 reasoning architecture。它没有让模型形成可验证的病灶定位推理，也没有证明长期视觉状态建模；更像是在答案空间附近增加局部视觉判别约束。换句话说，CGO 把“正确答案监督”变成“正确答案 + 反事实不变性惩罚”，从而减少一类显性的 language-prior solution。
最值得注意的是 VHR 的改善比 VRS 更清楚。这符合机制预期：CGO 直接打击的是 real/hard-negative 下答案不变，而不是直接优化 real-vs-shuffle 的正确性差距。VRS 没有显著提升说明模型还没有系统性地从真实图像中获得更多净收益；它只是更少在某些反事实条件下保持错误答案。这个区分很关键：论文证明的是 shortcut suppression，而不是完整 visual grounding。
有些增益可能主要来自 data/domain coverage。CORAL 训练用到 PMC-VQA、PathVQA、SLAKE 等来源，评测也包含这些 benchmark；PMC-VQA 上效果最大，文中也承认与训练域一致。这里存在 benchmark overlap / implicit memorization 的风险，不能把全部提升归因于 CGO。CLIP hard-negative retrieval 也可能把数据集中相似模板、相似图像和相似答案分布重新组织成一种更强的数据增强，而非真正学习医学视觉因果结构。
IS_pred 对 CORAL 不利是一个重要信号：模型在 shuffled 条件下仍有很高概率输出同一答案。这说明 CGO 没有彻底解决 image invariance，只是改变了部分错误类型。若一个方法真的强视觉依赖，应该在 answer-level 对破坏图像更敏感。这里的结果更像“局部 hard negative 上的判别边界变好了”，不是“整体视觉依赖显著增强”。
Relation To Prior Work
这篇论文属于 VQA shortcut learning、counterfactual evaluation、contrastive debiasing 在医学 VLM 场景下的组合延伸。和早期 VQA-CP、question-only regularization、counterfactual sample contrastive learning 的思想谱系很接近：都在反对模型用语言先验解题。看似新的地方不是“反事实”本身，而是把反事实条件系统化到医学 VLM，并把 CLIP hard-negative mining 接入训练和评测闭环。
和 saliency/attention grounding 不同，本文不试图证明模型关注了正确区域，而是测行为层面的视觉因果依赖。这是更稳健也更黑盒的路线，但代价是无法定位模型到底看了什么。
和 CoT / medical reasoning VLM 的区别更本质：CoT 增加的是文本推理轨迹，可能让 shortcut 更流畅；CGO 增加的是视觉反事实约束，直接限制不看图也能答对的策略。论文中 RL(image) 在 no-image 条件下表现过高，实际上是对 accuracy-only RL 的一个批评：RL 可以强化 benchmark priors，而不是增强 grounding。
实质创新在于两个点：一是用一套可复现的 counterfactual metric suite 对 medical VLM grounding 做行为审计；二是把 hard-negative answer-change 作为训练 reward。其余部分，如 Qwen2.5-VL、LoRA、GRPO、CLIP/FAISS 检索，更像成熟组件的工程组合。
Dataset / Evaluation
评测覆盖了多个闭集医学 VQA benchmark，并额外做了通用视觉任务对照，这足以支持“医学 VQA 的视觉依赖显著弱于通用 VQA”这一诊断性 claim。六种图像条件的 paired protocol 也比单纯报告 accuracy 更有说服力，因为同一样本跨条件比较能减少样本差异带来的噪声。
但它还不足以证明“医学 VLM 真正看见了”。首先，主实验每个 benchmark 只有固定 100 个样本，primary claim 虽有 paired bootstrap 支持，但对次级 grounding 指标明显 underpowered。其次，评测主要是封闭式 VQA，答案空间窄，无法覆盖真实临床部署中的开放式报告、病灶定位、多标签诊断、跨模态病史整合。第三，训练/评测 benchmark 存在交叠，尤其对 PMC-VQA、PathVQA、SLAKE 的泛化解释要非常谨慎。
benchmark 是否验证核心 claim？部分验证。它验证了 CGO 能降低某类反事实幻觉并提升闭集准确率，但没有验证 region-level grounding、临床可解释性、跨机构鲁棒性，也没有验证模型是否在真实医学语义层面使用图像。hard negative 由 CLIP 相似性定义，而 CLIP 的相似不一定是医学诊断相似；这个评价轴可能仍偏向表观相似而非临床 confounder。
Limitation
方法成立依赖几个强前提。第一，hard negative 必须真的是医学语义上相近但标签不同的反事实；如果只是 CLIP 表观相似或数据集模板相似，训练信号会偏。文中未充分说明 hard negative 的医学有效性是否经过专家验证。
第二，答案变化被当作 grounding proxy，但答案变化不等于看对了图。模型可能学到“遇到不同图像 embedding 就换答案”的不稳定策略，而不是定位相关视觉证据。这个问题在闭集选择题中尤其明显。
第三，泛化可能依赖 benchmark overlap。CORAL 的训练池和评测集高度同源，最大收益出现在训练域相关 benchmark，核心能力可能主要来自数据覆盖和隐式记忆，而非通用 grounding 能力。文中承认 overlap，但没有通过严格 held-out institution / held-out dataset / held-out disease split 解决。
第四，CGO 的上限受 hard-negative mining 质量限制。若检索器无法找到真正细粒度的诊断混淆样本，训练就退化为普通数据增强；若检索器本身带有偏差，模型会继承这个偏差。scalability 上看，需要大规模标注池和可靠 label-different 约束，这在真实医学多标签场景并不简单。
第五，IS_pred 结果暴露了方法的不完整性。CORAL 在 shuffled 图像下仍大量保持同一答案，说明视觉依赖没有根本建立。它更像压低了一部分 visual hallucination failure，而不是把模型转换成强视觉因果推理器。
第六，真实部署鸿沟很大。临床系统需要处理开放问题、多图像序列、报告上下文、罕见病、设备差异和不确定性表达；本文的 closed-form VQA 只验证了一个窄场景中的行为敏感性。
Takeaway
- 第一，医学 VLM 的 accuracy 很可能长期高估视觉能力；未来评测应该默认加入 no-image、corrupted-image、hard-negative-image 条件，而不是把它们当补充实验。
- 第二，训练 grounding 的有效方向不是让模型生成更长 CoT，而是让错误的 shortcut 在训练目标中变贵。
- CGO 的可迁移 insight 是：把反事实不变性直接变成 loss/reward，比事后解释更有用。
- 第三，hard negative 是这篇最值得迁移的组件。
一句话总结
这篇论文在医学 VLM 方向中的位置，是把 accuracy-driven medical VQA 推向 counterfactual grounding audit 与 hard-negative anti-shortcut training 的一步；它真正贡献的是一种压制 image-invariant shortcut 的训练/评测范式，而不是证明模型已经具备完整医学视觉推理能力。