精读笔记

Problem Setting

Visual Semantic Entropy: Do Vision Language Models Recognize Visual Ambiguity?（arXiv preprint / 2026）。这篇论文不是在解决 VQA 本身，而是在解决 VLM prediction 的 risk ranking：给定模型已经产生了一个答案，如何判断这个答案是否可能错，尤其是在视觉证据 ambiguous 或诱发语言偏置时。真正困难点是 VLM 的错误不一定伴随语言输出多样性；模型可以在视觉上看错但语言上非常稳定。以前的 SE/consistency 路线卡在一个隐含假设：uncertainty 会通过 stochastic decoding 自动显现。文本扰动路线又把问题推到另一个方向：它确实制造了 diversity，但这个 diversity 很可能来自 prompt sensitivity，而不是视觉证据。关键矛盾是：需要更多 variation 来估计 uncertainty，但 variation 的来源必须与视觉 ambiguity 对齐，否则 estimator 只是测到了模型对输入表面的敏感性。

Motivation

作者的核心观察有三层。第一，confident visual embedding 会压低采样输出的多样性，使 SE 对“高置信错误”失效；这类错误恰恰是视觉偏置场景中最危险的。第二，文本 paraphrase 在 multimodal embedding 空间中造成的位移明显大于图像局部扰动，因此 joint perturbation 的 uncertainty 很容易被文本侧主导。第三，直接在答案文本上做 pairwise semantic distance 会把同义不同表述当成 uncertainty，导致 SNNE/KLE 类方法的分数膨胀。真正缺的是一个只改变视觉证据、保持问题条件固定、并在 meaning-level 而不是 surface-form level 聚合输出的估计器。这个动机是合理的，因为 VQA uncertainty 的来源如果被定义为视觉歧义，就不应该让 question paraphrase 成为主要随机变量。

Core Idea

VSE 的核心思想是：不要指望解码随机性自己暴露视觉不确定性，而是在 test time 主动在图像的局部邻域采样，观察同一个问题在相近视觉视角下是否支持多个不同语义答案。它改变了 uncertainty estimator 的建模对象：从 p(answer | original image, question, decoding noise) 转向近似考察 p(answer | local visual neighborhood, fixed question)。这相当于把视觉输入附近的局部稳定性作为可靠性的 proxy。

本质区别在于，VSE 不把 diversity 本身当成 uncertainty，而把“由视觉局部扰动诱发的、跨语义 prototype 的加权分散度”当成 uncertainty。这个 inductive bias 比 prior 更贴近视觉 ambiguity：如果扰动后只是出现同义改写，应被压成一个 prototype；如果扰动后出现多个高质量语义解释，才应提高 uncertainty。它的可迁移价值在于把 uncertainty 的来源显式约束到目标模态，而不是盲目扩大输入或输出采样空间。

Method

方法层面最关键的是三个机制。第一，固定问题，只对图像做小尺度 perturbation。这是在排除文本扰动这个 confounder，并用局部视觉邻域打破过度自信 visual embedding 的单点判断。它解决的是 SE 在原图上采样仍然输出同一错误答案的问题。

第二，对每个扰动视图生成答案，但不直接把答案字符串当作类别，也不直接对所有文本样本做 pairwise distance。直接类别化会忽略语义接近性，直接距离化会受措辞影响；所以需要先聚类。

第三，用 semantic cluster 的 prototype 和 mass 来计算不确定性。这个设计把 uncertainty 从 sample-level noise 提升到 meaning-level distribution：只有多个有质量的语义簇同时存在且彼此距离较远时，分数才高。机制上，这是在移除 intra-cluster wording variance，保留 inter-cluster semantic disagreement。实现细节如 Gaussian noise、M=10、DeBERTa distance 不是概念核心，只是当前实例化。

Key Insight / Why It Works

最重要的 insight 是：VLM uncertainty estimation 不能只看 language decoder 的熵，因为视觉 encoder/adapter 可能已经把错误答案强行推成一个尖峰条件分布。此时低 entropy 不是可靠，而是错误信号被 representation bottleneck 吞掉了。VSE 有效的主要原因不是 entropy 公式更漂亮，而是它改变了 probing axis：用视觉扰动访问原始输入附近的 alternative visual interpretations。

最可能的核心贡献是“modality-targeted perturbation + semantic prototype aggregation”这个组合。单独视觉扰动已经带来不少增益，说明主要收益来自 test-time compute 对视觉局部邻域的探索；prototype aggregation 则是在减少文本表面噪声，使分数更接近语义分歧。换句话说，VSE 本质上属于 test-time compute + better inductive bias，而不是模型能力提升，也不是训练出更好的 calibration。

需要直接指出：这不是一个从根上解决 VLM calibration 的方法，而是一个黑盒 probe。它可能把“视觉歧义”与“模型对低级扰动的不鲁棒性”混在一起；作者用 semantic-region/noise ablation 缓解了这个疑问，但没有完全消除。增益中也可能有一部分来自更多采样和更强 semantic distance model，属于 engineering / scaling 成分。真正可迁移的不是具体 Gaussian noise，而是：uncertainty probing 的扰动分布必须与目标不确定性来源同模态、同局部性。

Relation To Prior Work

它最接近 SE、SNNE/KLE、C&U、VL-Uncertainty 这条 sampling/consistency/entropy-based UE 谱系，而不是 logit calibration 或 verbalized confidence。与 SE 的本质差异是，SE 在固定输入上依赖 decoder stochasticity，VSE 主动改变视觉条件；与 SNNE/KLE 的差异是，VSE 不在 raw answer samples 上聚合距离，而先压缩到 semantic prototypes；与 VL-Uncertainty/C&U 的差异是，VSE 明确拒绝 text perturbation，认为 paraphrase 不是视觉 uncertainty 的合法 probe。

看似新的部分中，input perturbation、semantic clustering、mass-weighted dispersion 都不是全新思想；实质创新在于把这些已有组件重新约束到一个更干净的因果问题：在固定语言条件下，局部视觉证据是否支持多个语义答案。这个约束比模块本身更重要。它把 prior work 中混杂的 diversity signal 拆开，指出哪些 diversity 是有用信号，哪些只是 prompt/wording artifact。

Dataset / Evaluation

评估覆盖知识型 VQA、综合多模态推理和视觉偏置/对抗数据，整体能支持“VSE 对视觉歧义更敏感”这个核心 claim。尤其 VILP 和 VLM-are-biased 是比较关键的，因为这些 benchmark 更直接测试语言先验与视觉证据冲突时的不确定性估计，而不是一般 VQA correctness ranking。

不过 evaluation 仍有局限。AUC 只衡量错误样本能否排在正确样本前面，不等价于校准质量，也不说明分数能否作为部署阈值。benchmark 主要还是离线 VQA，没有真实交互、拒答、人机协作或代价敏感决策场景。视觉歧义的 ground truth 也主要通过模型答错与数据构造间接体现，而不是通过多标注者视觉不确定性分布。实验能证明 VSE 是更好的错误检测 probe，但尚不能证明它真正“识别”了人类意义上的视觉 ambiguity。

Limitation

核心前提之一是小尺度视觉扰动保留语义但改变足够多的视觉证据；这个前提在 OCR、医学影像、细粒度属性、计数、空间关系任务上可能不稳。噪声可能破坏关键信息，也可能制造模型特有的不鲁棒性，从而把 robustness failure 当作 uncertainty。文中虽有 perturbation type 和 semantic-region ablation，但文中未充分说明如何系统地区分视觉歧义与扰动敏感性。

第二个上限来自 semantic distance / clustering。VSE 的 score 很大程度依赖外部 NLI/embedding model 对答案语义的判断；如果答案需要领域知识、数值比较、组合逻辑或开放长文本解释，prototype 聚类可能成为瓶颈。这里存在 hidden supervision：一个更强的 semantic evaluator 实际参与了 uncertainty estimation。

第三，计算成本是结构性问题，不只是实现问题。VSE 本质是 test-time sampling；性能随 M、temperature、perturbation strength 变化，增益来源不清。它可能主要来自额外 test-time compute 对局部输入空间的覆盖，而非更深的 uncertainty modeling。

第四，泛化还没有被真正证明。当前结果主要在 VQA-style benchmark 上成立；到 video QA、agentic vision、grounded planning 或 real-world deployment，视觉扰动是否仍是合适的 uncertainty probe 是开放问题。

Takeaway

• 1. 对 multimodal uncertainty，扰动源必须和要估计的不确定性来源对齐；否则 diversity 只是 confounder。
• 2. VLM 的高置信错误可能来自视觉表示层的过早塌缩，decoder entropy 对这类错误天然迟钝。
• 3. 答案不确定性应该在 semantic prototype level 估计，而不是在 raw text sample level 估计；这点可迁移到开放问答、captioning 和 multimodal reasoning。
• 4. 未来更值得做的是 latent/object-level visual perturbation 或 learned local neighborhood，而不是继续堆 text paraphrase 或更大采样数。

一句话总结

这篇论文把 VLM uncertainty estimation 从 decoder-output diversity 推向 modality-targeted visual probing，是一类 test-time perturbation + semantic aggregation 方法的较干净实例，真正贡献在于明确剥离 prompt sensitivity 与 wording variance 对视觉不确定性的污染。