精读笔记

Problem Setting

[Few-class Fidelity: Evaluating Explanations of Real-conditions CNN classifiers with Optimized Perturbations]（arXiv preprint / 2026）

这篇论文不是在提出新的解释方法，而是在修正解释方法的评估目标。它关注的是 perturbation-based fidelity：给定一张 saliency map，按重要性顺序替换像素，看模型输出如何变化，以此判断解释是否忠实于模型。

真正的问题在于，传统 fidelity 默认“大类别空间”里的错误预测近似随机化：重要证据被移除后，模型从正确类掉到其他类，accuracy 下降即可视为解释有效。但在二分类或少类别任务中，输出翻转不是随机化，而是强制切到另一个语义类别；这会把“模型不再知道答案”和“模型非常确信另一个答案”混为一谈。

关键矛盾是：fidelity 想测的是解释图是否覆盖模型决策证据，但实际 perturbation 可能测到两件无关的东西：一是模型对 OOD 遮挡图的脆弱性，二是少类别 softmax 几何下的类别切换。以前方法主要处理前者，对后者没有明确建模。

Motivation

已有路线不够的根本原因是 fidelity 的评价语义没有跟真实部署任务对齐。现实应用中大量任务是二分类/少数类，比如医学诊断、工业缺陷检测、是否注入造影剂等；这些任务里，“让模型错”不是一个干净的目标，因为错误类本身就是唯一替代类。

作者的核心观察是：少类别场景下，合理 perturbation 的目标应该是降低模型置信度，使输出接近均匀分布，而不是最大化错误率。换句话说，解释评估应问“移除这些特征后模型是否失去判别依据”，而不是“模型是否被推到另一个标签”。

另一个动机是 OOD perturbation 仍然没有被很好解决。固定值替换、黑块遮挡、均值替换都可能产生模型训练时从未见过的输入，导致 fidelity 分数变成 OOD detector 的副产物。作者想要一个透明的、非生成模型的替代方案，用启发式搜索找到既近似 in-distribution、又能诱发不确定性的扰动。

Core Idea

论文的核心思想可以概括为：把 perturbation fidelity 从“错误诱导问题”重写成“受约束的不确定性诱导问题”。这改变了 fidelity metric 的目标变量：不再以 accuracy drop 或目标类概率单调下降为唯一信号，而是引入少类别任务下的理想不确定状态 U_obj=1/N，要求完全移除有效信息后各类概率都接近均匀。

这带来一个新的 inductive bias：好的解释图应该把真正支撑当前决策的证据排在前面，使 MIF 曲线快速到达不确定水平；同时不应把有用证据漏到低显著区域，否则 LIF 曲线会过早坍塌。相比只看一条 deletion curve，这种 MIF/LIF 双向约束更像在测 precision 和 recall：既要命中重要区域，也要避免把重要区域错判为不重要。

与 prior 的本质区别不在于用了 AUC 或像素替换，这些都已有；区别在于作者重新定义了 perturbation 的“正确终点”。传统方法的终点通常是图像被破坏到模型输出错误，而这里终点是结构上仍像原图、但模型信息上接近无判别证据的样本。这是 metric target 的重标定，而不是单纯 engineering。

Method

方法只保留三个关键机制。

第一，少类别 uncertainty objective。作者把完全扰动后的理想输出设为均匀分布 1/N。这解决的是少类别下 class switch 不能代表 faithfulness 的问题。核心变化是 fidelity 从分类正确性指标转为置信度几何指标。

第二，MIF/LIF 双曲线评分。MIF 检查高显著区域是否真的承载决策信息；LIF 检查低显著区域是否真的无关。最终分数不是简单最大化两条曲线间隔，而是让 MIF 的 AUC 接近 U_obj、LIF 的 AUC 接近 1。这解决的是单向 deletion 容易只奖励“找到一些重要区域”，却不惩罚遗漏重要区域的问题。

第三，per-image perturbation selection。作者为每张图生成一批非 DL 图像变换候选，用输出不确定性筛掉不能让模型失去置信的候选，再用与原图的 MSE 相似性偏好近分布候选。这个机制解决的是固定替换值制造 OOD 的问题。它带来的核心变化是：扰动不再是全局固定规则，而是按图像和模型输出自适应选择。

需要注意，候选生成本身包含大量启发式图像操作和 blur/search，这更像评估管线工程，而不是一个有严格分布保证的理论组件。

Key Insight / Why It Works

最重要的 insight 是：在 few-class fidelity 中，模型置信度坍塌比标签翻转更接近“证据被移除”的语义。二分类下 softmax 总要在两个类之间分配概率，重要特征被破坏后如果模型从 0.99/0.01 变成 0.01/0.99，这不表示模型不懂了，只表示 perturbation 引入了反向证据或 OOD artifact。均匀不确定性目标能避免把这种伪信号当成解释忠实性。

真正有效的部分大概率是 metric target 的重定义，而不是 804 个候选扰动的规模。候选搜索提高了找到合适端点的概率，但它是辅助机制；核心贡献是把 fidelity 的端点从“破坏分类”改成“消除可判别信息”。如果没有这个目标，更多扰动候选只会更高效地找到能 fool 模型的图。

MIF/LIF 的有效性来自对 attribution ordering 的双侧约束。好的 saliency map 不只是把若干强证据放在顶部，还要保证底部尽量不含证据。这个设定比单纯 deletion/insertion 更能约束解释图的排序质量，但仍然依赖 perturbation 过程不会引入新证据。

比较可疑的是 in-distribution 判断。作者用候选图与原图的像素 MSE 近似分布接近，这在自然图像和 CT 上可能工作，但这不是流形 membership。模糊图与原图像素接近，不代表模型内部表征仍位于训练分布。这里的 OOD 缓解更像 pragmatic heuristic，而不是解决 OOD。

这篇不属于 scaling、retrieval、memory reuse 或 test-time reasoning 路线；它本质上是 evaluation objective correction + perturbation search。若有性能增益，主要来自 better inductive bias：把评估目标对齐到少类别任务的概率结构。

Relation To Prior Work

它最接近 Meaningful Perturbation、RISE、deletion/insertion、ROAR/KAR、IROF 以及各种 perturbation-based faithfulness metric。已有工作已经知道替换像素、按 attribution 排序、看输出曲线，也已经注意到 OOD perturbation 是严重问题。

看似新的部分里，MIF/LIF 双序和 AUC 不是根本创新；动态替换和 blur/noise 也不是根本创新。真正新增的信息是 few-class 视角：作者明确指出 accuracy-drop 在少类别任务中的语义失效，并把 fidelity 的目标改为均匀不确定性。

与 Fong/Vedaldi 或 Qiu 等 OOD-aware perturbation 相比，这篇没有用学习式 mask、生成式 inpainting 或 OOD detector，而是用透明启发式候选搜索。这牺牲了理论分布建模能力，换来可解释、易迁移、无需再解释一个生成模型的评估管线。

与人类标注对齐类评估相比，它仍属于 human-independent fidelity 谱系。论文比较 Dice/IoU 只是为了验证排序是否与人类区域判断相关，并不是把 human alignment 作为最终目标。实质上，它强调 faithfulness 和 plausibility 可以相关，但不应混为一谈。

Dataset / Evaluation

评估覆盖两个少类别视觉场景：一个自然图像三分类 vehicle 子集，一个医学 CT 二分类 contrast-agent toy task。这个设计能支撑“few-class 场景存在且重要”的论点，也能初步显示方法不只绑定单一图像模态。

但任务覆盖仍然偏窄。vehicle 子集来自 ImageNet，虽然类数少，但数据分布和标注质量仍接近标准视觉 benchmark；CT contrast-agent 任务被作者自己称为 toy example，且分类线索可能非常强、非常集中。它们不足以证明该 metric 能处理真实部署中更复杂的 spurious correlation、弱标签、长尾病灶或多实例决策。

实验比较了多种常见 saliency 方法及 XRAI/SmoothGrad 等后处理，结果显示排序随数据域变化明显，而同一数据域内不同架构排序较一致。这支持一个重要判断：XAI 方法不能跨任务普适排名，解释方法选择必须随数据域重新评估。

人工定位/分割指标与 Few-class Fidelity 有一定相关性，这是有价值证据，但不能过度解读。IoU/Dice 测的是与人类标注区域的重合，fidelity 测的是模型内部决策依赖；二者一致可能说明模型学到了人类可见证据，也可能只是该任务的判别线索空间简单。

Limitation

第一，方法成立依赖一个强前提：存在某种扰动图，既与原图足够相似、又能让模型输出接近均匀分布。如果模型对背景纹理、全局统计或 acquisition artifact 有强依赖，模糊/像素操作可能无法干净移除证据，或者会引入新的伪证据。

第二，in-distribution 约束很弱。用原图相似性替代训练分布相似性是方便但不充分的。特别是在医学影像中，像素相似不等于解剖合理；在自然图像中，blur 后的图可能仍像原图，但在模型表征空间可能已经偏离训练流形。OOD 问题没有被真正解决，只是被缓和。

第三，扰动候选搜索的启发式权重和阈值缺乏系统归因。文中未充分说明 Δ、P_score 权重、候选变换族对最终排名的敏感性。增益来源不清：可能来自 uncertainty objective，也可能来自更温和的 blur 替换，或者来自大量候选带来的 test-time compute。

第四，metric 可能偏好平滑、区域化的解释图。XRAI 和 SmoothGrad 在某些设置下提升明显，但这可能反映后处理更适合该扰动/评价协议，而不一定说明 parent attribution 更 faithful。评价协议与 saliency post-processing 之间可能存在 bias。

第五，scalability 有明显上限。每张图生成并筛选大量候选，再对多种 saliency map 做 1% step 的 MIF/LIF 曲线，计算成本不低。对于 3D volume、高分辨率病理图、视频或大规模模型部署，这套流程可能主要是 offline audit tool，而不是常规训练/部署循环中的轻量指标。

Takeaway

• 1. 少类别任务里的 fidelity 不能继续偷用大类别 benchmark 的 accuracy-drop 语义；输出不确定性应成为更自然的评价终点。
• 2. Perturbation-based XAI evaluation 的核心不是“怎么遮挡”，而是“遮挡后的理想状态是什么”。
• 一旦目标错了，扰动越强、搜索越充分，metric 越可能奖励错误行为。
• 3. OOD-aware perturbation 不一定需要生成模型，但如果不用生成模型，就必须承认自己只是启发式近似，而不是分布保证。

一句话总结

这篇论文把扰动式 XAI fidelity 从“大类别下的错误诱导评估”推进到“少类别真实任务下的不确定性诱导评估”，核心贡献是评价目标重标定，扰动搜索更多是服务于该目标的工程化近分布近似。