精读笔记

Problem Setting

这篇论文处理的是标准 closed-set classifier 上的 post-hoc OOD detection：模型已训练好，不能重训，部署时需要给输入一个 ID/OOD 分数。真正问题不是 OOD 定义本身，而是如何在固定模型中找到一个既有不确定性含义、又足够便宜的信号。

已有路线的关键矛盾是：输出置信度和能量分数便宜但经常被 overconfidence 欺骗；距离/邻域方法利用 feature geometry 但需要缓存、检索或分布估计；Bayesian/Laplace curvature 方法更 principled，但参数空间二阶近似成本太高。FOLD 试图在这两端之间找一个中间点：保留 curvature 的 epistemic uncertainty 味道，但把计算降到 feature/logit 维度。

Motivation

作者的核心观察是：无论从 dataset-level 还是 sample-level 看，OOD 样本对应的 Hessian trace 和 largest eigenvalue 通常大于 ID，且 far-OOD 更大。这一点重要，因为很多 curvature-based uncertainty 方法默认相信 ID 更 flat、OOD 更 sharp，但此前更多是隐含假设而非系统验证。

现有方法缺的是一个可部署的 curvature surrogate。全参数 Hessian 太贵，纯 logit curvature 又忽略 classifier 在 feature space 中形成的决策几何；纯 feature norm 或 distance 又不直接刻画局部敏感性。因此作者选择把 logit-space energy curvature 通过线性分类头拉回 feature space：既利用 softmax/energy 的不确定性，也让曲率方向和类别判别子空间对齐。

Core Idea

论文真正的核心不是“算 Hessian”，而是把 OOD score 建模为 classifier-induced feature manifold 上的局部平坦性。ID 样本通常位于训练过、margin 更稳定的区域；OOD 样本更容易落在模型响应敏感、概率未饱和或决策边界附近的区域。用 feature Hessian trace 衡量这种局部敏感性，本质上是把 uncertainty 从标量置信度扩展为局部几何属性。

和 prior 的本质区别在于，FOLD 不把 curvature 放在参数 posterior 上，也不把 OOD 判别完全交给 feature distance；它把 curvature 投影到 classifier 权重张成的判别方向上。这个 inductive bias 很强：只有影响类别 logit 的 feature 方向才被认为有意义。它因此比参数空间 Laplace 更 scalable，也比纯 logit score 多了一层 representation alignment。

Method

Feature Hessian 解决的是参数空间 Hessian 不可部署的问题。由于分类头是线性的，energy 对 feature 的 Hessian 可以写成 classifier Jacobian、logit Hessian、classifier Jacobian transpose 的三明治形式。这使 curvature 计算主要发生在低维 logit/feature 空间，同时保留类别边界几何。

Trace score 解决的是如何把局部曲率变成单样本 OOD 分数的问题。选择 trace 而不是只看最大特征值，意味着作者更看重 average-case sensitivity；后续谱分析也显示 partial normalization 后差异不只集中在 top eigenvalues，而是扩展到更宽的谱段。

Partial normalization 解决 feature norm 导致的曲率退化。大 norm 会放大 logits，使 softmax 饱和，进而让 Hessian 变小；这会把“高置信但可能 OOD”的样本误判为 flat。完全 normalization 又会丢掉复杂数据集中的语义强度信息。α 的作用就是在方向信息和 magnitude cue 之间插值。

AutoFold 解决部署时 α 需要 OOD validation 的问题。它通过 mask 掉 ID 样本真实类 logit 来制造 pseudo-OOD，使模型被迫依赖 residual logits。这个设计并不是新的 OOD 信号，而是一个 OOD-free calibration proxy。

Key Insight / Why It Works

最可能的核心贡献是 partial-normalized feature Hessian，而不是 AutoFold。Feature Hessian 把 energy uncertainty 和 classifier geometry 对齐，partial normalization 则修正了 feature norm 对 curvature 的系统性扭曲。两者结合后，score 不再只是“低置信度”或“离训练特征远”，而是在问：沿类别判别方向扰动这个 representation，energy landscape 是否敏感。

方法有效的关键机制更接近 representation alignment + latent local geometry，而不是 retrieval、memory reuse 或 scaling。它没有引入额外数据覆盖，也没有 test-time search；增益来自重新组织已有 forward 中的 logits、classifier weight 和 feature norm 信息。换句话说，它是对固定 classifier 内部几何的再读出。

partial normalization 的作用可能比论文表面写得更关键。没有 normalization 时，曲率差异容易被 top eigenvalues 和 feature norm 饱和效应主导；全 normalization 又会把 ImageNet 上有用的 magnitude cue 抹掉。partial normalization 让 score 从极端 worst-case curvature 转向更分布式的 average curvature，这解释了为什么 FPR95 改善更明显。

AutoFold 的增益归因不够干净。logit masking 是否真的模拟 OOD，文中未充分说明；它更像一个与分类器 margin/残余 logit 结构相关的 self-supervised tuning heuristic。其成功可能说明 α 的选择只需要捕捉“主类证据被破坏后的 separability”，但这不等价于真实 OOD 机制。

需要直接判断的是：这篇不是大幅提升 detector ceiling 的工作，而是把 curvature-based OOD 从昂贵 Bayesian 近似工程化为一个轻量 score。真正价值在于机制简洁、成本低、和 ReAct/ASH 可组合；性能增益本身属于稳健小幅改进，不应被解读为解决 OOD detection。

Relation To Prior Work

最接近的谱系有三条：energy/logit-based OOD、feature geometry/distance-based OOD、以及 Laplace/curvature-based uncertainty。FOLD 的位置在三者交叉处：用 energy 定义 curvature，用 classifier head 注入 feature geometry，用 Hessian trace 承接 curvature uncertainty。

相对 Laplace posterior 方法，实质差异是放弃参数空间 Bayesian 解释，转而用 feature-space local curvature 做 discriminative score。这牺牲了部分理论正统性，但换来部署可行性。

相对 MSP/EBO/MLS，FOLD 新增的信息是二阶局部敏感性，而不是静态 logit 大小。它关心的是 energy 对 feature perturbation 的响应，而不是当前点的 confidence 数值。

相对 MDS/KNN/VIM，FOLD 不显式建模 ID feature distribution 或检索邻居，因此不依赖大规模 feature memory；但它也因此无法直接利用训练集覆盖结构。它更像 classifier-local geometry 方法，而不是 density/distance 方法。

partial normalization 与已有 feature normalization 思想有明显连续性，尤其和 feature norm OOD、Mahalanobis++ 一类工作相关。真正新增不是“normalize feature”，而是证明 full normalization 在复杂数据集会毁掉 magnitude cue，并把 normalization 放进 curvature score 的机制里。

Dataset / Evaluation

评估覆盖了 CIFAR、ImageNet-200、ImageNet-1K 和多个 backbone，足以支持“在标准视觉 OOD benchmark 上稳定有效、计算便宜”的 claim。near/far OOD 的 curvature trend、sample-level trace 分布、feature-vs-logit Hessian、normalization 消融和跨架构结果构成了较完整证据链。

但 evaluation 主要仍是 OpenOOD 风格离线分类 benchmark。它验证的是 semantic / visual distribution shift 下的 post-hoc separability，不等价于真实部署中的 open-world stream、label taxonomy drift、spurious correlation shift、adversarial OOD 或 near-duplicate unknown。文中没有真实系统延迟、吞吐、在线阈值漂移或校准稳定性分析。

性能提升并不大，且不同变体在不同数据集上最优：FOLD-R、FOLD-A、AutoFold-A 各有适用场景。这说明 curvature cue 是有效补充，但不是压倒性主信号。AutoFold 在部分数据集上低于 fixed α，也说明 pseudo-OOD calibration 还不是完全可靠的替代。

Limitation

第一，核心假设不是定理保证，而是经验规律：OOD 更 sharp。只要 OOD 被模型高置信吸收进某个 ID basin，或者数据 shift 主要改变背景/风格但不改变 classifier 判别方向，feature Hessian trace 可能不再可靠。

第二，理论分析太简化。二分类 Gaussian mixture、线性 classifier、特定 shift 条件只能解释一种 low-confidence OOD 情形；文中也承认没有覆盖深层多类网络和 partial normalization。因此理论更像 intuition formalization，不是方法保证。

第三，α 是方法的真实脆弱点。不同数据复杂度下 optimal α 差异很大，说明 score 对 feature norm 的依赖并未被根本解决，只是被调参管理。AutoFold 把 OOD validation 需求转移成了 pseudo-OOD 构造假设；这个假设在不同模型家族上是否成立，文中未充分说明。

第四，增益来源存在混合：curvature、本身的 energy score、feature norm calibration、ReAct/ASH shaping 都可能贡献性能。虽然有消融，但仍难完全分离“二阶几何”与“更好的 feature/logit rescaling”。部分提升可能主要来自 normalization engineering，而不是 curvature 理论本身。

第五，scalability claim 主要相对参数 Hessian 和检索类方法成立。对于超大类别数、非线性 head、多头模型或 foundation model adapter，feature Hessian 的计算和数值稳定性仍需重新评估。

Takeaway

• 第一，curvature gap 是一个值得保留的 OOD inductive bias，但最实用的形式未必是参数空间 Laplace，而可能是 classifier-induced feature curvature。
• 第二，feature norm 不是 nuisance variable；它在 OOD detection 中既可能制造 softmax 饱和噪声，也可能携带语义强度。
• 未来更好的方向不是 full normalization，而是 data/model-adaptive magnitude calibration。
• 第三，FOLD 的可迁移 insight 是：许多 post-hoc detector 可以通过“局部几何化”增强，即从静态 score 转向 score 对 representation perturbation 的敏感性。

一句话总结

FOLD 是一类把 curvature-based OOD 从昂贵参数空间 Bayesian 近似推进到轻量 classifier-aligned feature geometry scoring 的工作，真正贡献在于用 partial-normalized feature Hessian 把局部平坦性变成可部署的 post-hoc 信号。