精读笔记

Problem Setting

这篇论文处理的是 VLM 图像分类中的 conformal prediction efficiency 问题：在保证 marginal coverage 的前提下，如何让 prediction set 对不同 test sample 的局部难度更敏感。关键矛盾是标准 CP 的全局 quantile 很稳健但粗糙，LCP 的局部 quantile 更自适应但高度依赖相似度函数是否真的对应误差结构。以前方法卡在两个地方：分类 setting 中 LCP 研究不足；VLM embedding 的相似性通常被默认可用，但这篇论文显示这个默认假设并不成立。

Motivation

已有 conformal classification 方法已经能提供 marginal guarantee，但它们对局部 heterogeneity 的处理很弱：easy samples 和 hard samples 被同一 calibration threshold 控制。VLM 提供了一个看似天然的 latent space，可以用来做 test-time localization；但缺口在于，CLIP cosine similarity 是否足以支撑 conformal localization 并没有被系统检验。作者的核心观察是负面的：naive cosine localizer 经常不能改善，甚至恶化 set size。因此本文动机不是单纯“把 LCP 用到分类”，而是找一个能让 VLM latent similarity 真正变成 calibration-relevant locality 的变换。

Core Idea

论文的核心思想是把 conformal calibration 从 global averaging 改成 test-conditioned weighting：对每个 test image，不再用全部 calibration scores 的同一个 quantile，而是用与该 test image 在 VLM visual feature 中相似的 calibration samples 形成加权 score distribution。这样 prediction set 的阈值可以随 test point 所在 latent region 改变。

但真正的技术判断在于：原始 cosine similarity 不是一个好的 localizer。作者用 sigmoid transformation 重新塑形相似度，使高相似样本获得更强权重，低相似样本被压低。这个操作本质上把 LCP 从“平滑全局 reweighting”推向“软近邻检索”。它引入的 inductive bias 是：VLM embedding 中非常近的样本更可能共享 calibration score behavior，而中等相似的样本不应过多影响 test-specific quantile。

Method

方法可以压缩为三个必要机制。第一，冻结 VLM 作为 feature/score provider：图像和文本 prompt 产生 zero-shot prediction vector，conformal scores 使用 TopK、LAC、APS、RAPS 等已有定义；这保证方法不依赖重新训练模型。第二，LCP 用 localizer 对 calibration scores 加权，得到 test-specific weighted quantile；这一步解决标准 CP 对局部难度无感的问题，同时理论上仍保持 marginal coverage。第三，normalized sigmoid localizer 替代 raw cosine：它解决的是高维 cosine 相似度过于温和、无法形成有效局部邻域的问题；cross-validation 只用于选 localizer 形状以最小化 set size。这里的核心变化不是多了一个超参，而是把相似度函数从语义连续度量改成 calibration neighborhood selector。

Key Insight / Why It Works

最重要的 insight 是：在 VLM 上做 localized conformal prediction，关键不是有没有 latent representation，而是 localizer 是否能把 latent geometry 映射到 conformal score geometry。raw cosine similarity 在 CLIP feature 中可能适合 retrieval 或 few-shot adaptation，但它对 CP quantile estimation 来说太弱：大量中等相似 calibration samples 仍然参与估计，导致局部 quantile 没有真正局部化，甚至引入噪声。

sigmoid transformation 有效，很可能不是因为它发现了新的理论结构，而是因为它实现了更强的 soft retrieval / adaptive calibration subset selection。换句话说，主要增益来自 test-time memory reuse：利用 calibration set 中与 test sample 最接近的区域重估阈值。它更像 retrieval-enhanced calibration，而不是 classifier 能力提升。

最可能的核心贡献是负面发现加简单修正：naive cosine LCP 不够，必须 reshape similarity。LCP 框架本身来自 prior；VLM embedding 也是现成；真正可迁移的部分是“conformal localization 需要 calibrate the metric, not just use representation similarity”。

coverage 指标没有明显改善，这一点很关键。它说明该方法主要改善 efficiency，而不是实质逼近 conditional coverage。若有人把它解读成解决 subgroup fairness 或 conditional validity，会过度解读。它更准确的位置是：在 marginal validity 框架内，用更好的局部 quantile 降低平均集合大小。

Relation To Prior Work

最接近的谱系是 split conformal classification、APS/RAPS 类 adaptive set construction、以及 Guan 的 localized conformal prediction。和 APS/RAPS 的区别在于，APS/RAPS 改的是 score function / set construction，而本文改的是 calibration distribution 的使用方式。和 LCP prior 的区别在于，本文把 LCP 放进真实 VLM image classification，并指出 VLM 中最自然的 cosine localizer 并不自动有效。

看似新的部分有不少是已有思想重组：用 embedding 做 similarity、用 calibration set 做 test-time adaptation、用 cross-validation 选核形状，都不是根本新东西。实质创新在于对 VLM conformal classification 的系统性实证判断：locality 不是 free lunch，raw representation similarity 和 conformal usefulness 之间有 gap；sigmoid localizer 是一个简单但有效的修补。它属于 retrieval/local calibration + conformal validity 的方法演化，而不是 VLM architecture 或 CP theory 的重大推进。

Dataset / Evaluation

评估覆盖了多个自然图像分类数据集、不同类别粒度和不同 CLIP backbone，足以支持“在常见 zero-shot VLM benchmark 上 sigmoid LCP 可降低 mean set size”这个 claim。多 conformal scores 的比较也有价值，因为它说明增益不是某一个 score 的偶然现象。

但 evaluation 对核心 claim 的支持有边界。第一，主要强证据集中在 mean set size；CovGap 和 MCCC 没有稳定改善，所以不能声称真正改善 conditional validity。第二，calibration set 统一抽 1000 张，未充分说明 calibration size 对局部估计方差和局部邻域可靠性的影响。第三，所有实验都是离线分类 benchmark，没有真实 deployment、distribution shift、OOD、prompt sensitivity 或长尾场景分析。第四，排除 Caltech101 的理由合理但也暴露了一个问题：当 base accuracy 已经高于目标 coverage 时，set-size metric 容易出现 ceiling/floor effect，评估解释需要更谨慎。

Limitation

最大限制是 localizer 的正确性没有被理论或诊断实验充分支撑。LCP 的 guarantee 是 marginal 的；局部有效性依赖 similarity-quality，但论文没有证明 sigmoid cosine 真的对应局部 conditional score distribution，只是通过 set size 间接验证。增益来源不清：可能主要来自对 calibration samples 的软筛选，而不是对 class-conditional coverage 的改善。

方法还把一个问题转移成另一个问题：从“如何选全局 quantile”转移到“如何选 localizer”。sigmoid 的 cross-validation 以 set size 为目标，可能在某些数据分布下偏向更激进的局部化；虽然 marginal coverage 由 LCP 机制保护，但 subgroup coverage 未必改善。scalability 上，test-time 需要和 calibration embeddings 计算相似度，本质是 memory/retrieval 方法；大 calibration set 下需要近邻索引或近似检索，文中未充分讨论。

泛化也未被充分证明。当前结果依赖 CLIP-style representation alignment、自然图像 benchmark、固定 prompt 和同分布 calibration/test split。若 embedding neighborhood 不对应错误模式，例如细粒度类别混淆、domain shift、医学图像、强长尾类别，sigmoid localizer 可能只是放大错误邻域。

Takeaway

• 第一，localized CP 在 VLM 分类中有价值，但核心不是“用 cosine similarity”，而是找到 conformal-relevant metric。
• 第二，raw foundation-model embedding similarity 不能直接等同于 calibration similarity；需要对 metric 形状做校准或学习。
• 第三，这篇论文真正推动的是 efficiency-oriented local calibration，而不是 conditional coverage 的解决方案。
• 第四，未来更值得做的是学习 localizer、分析 score-space neighborhood、在 shift/long-tail/真实部署中验证局部 coverage，而不是继续堆更多 backbone 和 benchmark。

一句话总结

这篇论文把 LCP 带到 VLM 图像分类，并通过一个简单的 sigmoid similarity reshaping 证明：conformal localization 的关键在于校准相似度函数，本质上是 retrieval-style local calibration 对标准 CP efficiency 的一次实用增强。