精读笔记

Problem Setting

论文标题：Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler（arXiv preprint / 2026-06-02）。

这篇论文不是在重新提出 SAM，也不是在解释 flat minima 为什么泛化好；它实际处理的是 SAM/USAM 的学习率选择问题：SAM-style 方法在实践中对 learning rate scheduler 极其敏感，而现有 adaptive SAM 往往是经验性地接 Adam/AdaGrad/local smoothness，理论条件重或结论弱。

真正的困难在于 SAM 的更新方向是扰动点 e_t 上的梯度，而不是当前位置 x_t 的梯度。Polyak step size 的经典推导依赖用 f(x_t)-f* 和 ||∇f(x_t)||² 控制到最优点的距离下降；但 USAM/SAM 中有一个额外的 extrapolation 几何项，如果忽略它，step size 要么不再是 Polyak 意义下的最优上界解，要么理论上很难保证非负和下降。

关键矛盾是：ρ>0 是 SAM 泛化动机的来源，但从 worst-case convex optimization 角度，ρ 只会恶化收敛常数；因此本文真正能证明的是“带 perturbation 的 Polyak step 不会把优化搞坏”，而不是“sharpness-aware 本身带来更快优化”。

Motivation

已有路线的问题不在于没有 adaptive optimizer，而在于 adaptive SAM 的 adaptivity 多数缺少与 SAM 几何相匹配的推导。AdaSAM、LightSAM、SA-SAM 等方法本质上更接近把已有 adaptive LR 技术接到 SAM 上；它们可以工作，但 step size 不是从 SAM 更新的收缩结构中自然导出的。

作者抓住的缺口是：SGD 里 SPSmax 已经展示了 function-value-based adaptive learning rate 的价值，尤其在 over-parameterized / interpolation 场景中可以减少调参；但 SAM-style update 中还没有一个 Polyak-type scheduler 能同时保留 sharpness perturbation 和理论收敛保证。

因此本文的动机可以概括为：把 Polyak step size 从“当前位置梯度下降”的几何，迁移到“扰动点梯度下降”的几何。缺的不是另一个 scheduler trick，而是一个能解释为什么这个 scheduler 是当前迭代下合理选择的 upper-bound minimizer。

Core Idea

核心思想很简单但抓得准：不要把 SAM 看成普通 SGD 加一点噪声，而要把它看成在 e_t=x_t+ρ∇f(x_t) 上评估梯度、却从 x_t 出发更新的偏移梯度法。这样一来，展开 ||x_{t+1}-x*||² 时自然出现一个校正项 ⟨∇f(e_t), e_t-x_t⟩。对 USAM，这个项等于 ρ⟨∇f(e_t),∇f(x_t)⟩。论文的 Polyak scheduler 正是把这个项从 loss gap 中扣掉：用 f(e_t)-f*−ρ⟨∇f(e_t),∇f(x_t)⟩ 作为有效下降余量。

这和 prior 的本质区别在于，它不是根据历史梯度统计调学习率，也不是估计 local Lipschitz constant，而是重新定义了 SAM update 下的“Polyak loss gap”。它引入的 inductive bias 是：步长应该由当前 mini-batch 在扰动点处还剩多少可证明下降空间决定，并且这个下降空间必须扣除 perturbation 已经造成的几何偏移。

从可迁移性看，这个想法比具体公式更重要：只要一个 optimizer 的 update direction 与状态点不一致，就不应直接套用标准 Polyak step，而应在 squared-distance expansion 中显式保留 state-direction mismatch 项。

Method

1. Deterministic USAM Polyak scheduler：它解决的是 full-batch USAM 中 learning rate 不知道如何选的问题。通过最小化 ||x_{t+1}-x*||² 的上界得到 closed-form γ_t。核心变化是 Polyak numerator 从 f(x_t)-f* 变成 f(e_t)-f*−ρ⟨∇f(e_t),∇f(x_t)⟩，也就是把 sharpness perturbation 的影响显式内化。

2. 非负性与 descent 条件：为了保证这个 scheduler 不是形式推导，论文证明在 convex + L-smooth 且 ρ≤1/L 下 numerator 非负，并给出 γ_t 的下界。这个条件的作用不是工程稳定，而是确保 Polyak step 仍然是一个真实下降步。代价是理论半径条件较强，且在 DNN 中基本不可验证。

3. Stochastic Polyak scheduler：随机情形中把 f* 换成 mini-batch lower bound ℓ*_S，并用 cap γ_b 截断。cap 的必要性和 SPSmax 一样：随机 loss gap 可能导致过大步长，cap 用来换取 convergence-to-neighborhood。这里的核心变化是 stochastic SAM 的稳定性不再依赖显式 bounded variance / bounded gradients，而是由 σ²=E[f_S(x*)−ℓ*_S] 这种 Polyak 文献中的 residual variance 控制。

4. SAM extension：normalized SAM 的公式用同一上界思路得到，但由于 e_t-x_t 不再等于 ρ∇f(x_t)，非负性证明不直接成立，所以保留 ReLU safeguard。这里更像 empirical extension，而不是理论主线。

Key Insight / Why It Works

最关键的 insight 是：SAM 的学习率问题不是简单的 scalar tuning，而是 step size 应该感知“更新方向与当前位置之间的错位”。USAM 在 e_t 上取梯度，但真正更新 x_t；如果用普通 Polyak numerator，会高估可下降的 loss gap。本文的校正项 ρ⟨∇f(e_t),∇f(x_t)⟩ 正是在扣除这部分错位造成的虚假下降空间。这是方法有效的核心，而不是 cap、cosine 对比或实验 recipe。

理论为什么成立：convexity 给出 ⟨∇f(e_t), e_t-x*⟩ ≥ f(e_t)-f*，smoothness 控制 f(e_t)-f(x_t) 与 perturbation 内积之间的差，最终把有效 numerator 下界到与 f(x_t)-f* 成比例的量。也就是说，虽然 update direction 在 e_t，但只要 ρ 不太大，e_t 的梯度仍然能提供关于 x_t 到 optimum 的足够下降信息。

这里的贡献不是 scaling，不是 retrieval，不是 data coverage，也不是 representation alignment；它是一个 optimization-geometry correction。深度实验中的增益则更难归因：很可能一部分来自 loss-gap normalization 带来的自动 step-size annealing / rescaling，一部分来自较鲁棒的大步长控制。论文没有充分拆解 effective learning rate trajectory，因此“为什么 CIFAR 上更好”文中未充分说明。

辅助部分包括 γ_b cap 和 ℓ*_S=0 lower bound。它们很重要，但不是新机制：基本继承 SPSmax。真正新增的是把 Polyak numerator 改造成 SAM-compatible numerator。SAM normalized 版本的实验结果虽然好，但理论上不如 USAM 干净；这部分目前更像 engineering extrapolation。

Relation To Prior Work

这篇论文处在两条技术谱系的交叉点：一条是 SAM/USAM convergence theory，另一条是 Polyak/SPS adaptive step size。它不像 AdaSAM/LightSAM 那样把 Adam/AdaGrad 风格的 adaptive statistics 接进 SAM，而是从 Polyak step 的距离收缩推导出 scheduler，因此更接近 Loizou et al. 的 SPSmax 传统。

与 Dai、Si & Yun、Andriushchenko & Flammarion、Oikonomou & Loizou 等 SAM theory 相比，本文的不同点不是更一般的 nonconvex 分析，而是 adaptive learning rate 有明确闭式形式并且在 convex/strongly convex 下给出 rate。与 Cheng/Sun/Naganuma 这些 adaptive SAM 相比，本文牺牲了非凸广泛性，但换来更干净的理论来源。

看似新的 stochastic scheduler，其实大部分结构来自 SPSmax：mini-batch lower bound、cap、σ² neighborhood 都是 Polyak-SGD 文献的标准部件。实质创新在于把 SAM/USAM 的 perturbation 校正项放进 Polyak numerator，并证明它在 ρ≤1/L 下仍然非负、下降、收敛。

一个重要判断：这篇论文不是“新的 SAM 变体”意义上的大改模型，而是“把已有 Polyak adaptivity 正确移植到 SAM 几何中”的理论型工作。创新集中且窄，但位置明确。

Dataset / Evaluation

实验覆盖两类：synthetic ridge regression 验证理论收敛趋势，CIFAR-10/100 + ResNet-20/32 验证深度训练中减少学习率 tuning 的实用性。任务范围不大，基本是图像分类小中型 benchmark；没有大规模训练、Transformer、LLM、真实部署或长训练预算下的验证。

synthetic 部分能支持理论 claim：USAM-PS 确实表现出线性下降，stochastic 版本收敛到 neighborhood。这部分主要是 sanity check。

CIFAR 部分能部分支持 practical claim：Stochastic Polyak scheduler 在多个 ρ 下比 constant/cosine 更稳，尤其大 ρ 时 cosine 掉得明显。但 evaluation 对“减少 tuning”支持强于对“泛化更好”支持。因为 baseline 的调参网格较粗，momentum 设为 0，γ_b 虽然也给了候选范围但主文常用 γ_b=1，effective LR 曲线和训练 loss dynamics 没有充分分析。增益来源不清：可能来自更合适的自动学习率轨迹，而非 sharpness-aware Polyak 机制本身。

另外，表中 CIFAR-100 accuracy 数值异常偏高，接近常见 CIFAR-10 水平；可能是表述、数据集标注或实验设定存在不清楚之处。文中未充分说明这一点，读者应谨慎解读。

Limitation

最大理论限制是 convexity。本文给出的核心保证在 smooth convex / strongly convex 下成立，而 SAM 的主要使用场景是高度非凸深度网络。作者也承认 PL、weakly convex、nonconvex 是未来工作；因此当前理论不能解释 DNN 中的主要现象。

第二个限制是半径条件。ρ≤1/L 或 1/Lmax 是证明 numerator 非负和 descent 的关键，但深度网络中 Lmax 不可知且可能巨大。实际使用的 ρ 是否满足理论条件没有意义。因此理论更像局部几何启发，而不是可直接指导 DNN hyperparameter 的 guarantee。

第三，方法没有消除所有调参，只是把学习率调参压力转移到了 ρ 和 γ_b。ρ 在 SAM 中本来就是关键超参数，而且理论界显示 ρ 越大优化 bound 越差；如何选 ρ 完全没有解决。γ_b 在 stochastic 情形也不是无关紧要，过大可能不稳，过小退化为常数小步长。

第四，SAM normalized 版本缺乏同等理论。论文的理论主线是 USAM，但实际社区更常用 normalized SAM。SAM-SPS 的实验有效不等于理论成立；ReLU safeguard 很少 active 的经验观察也不是证明。

第五，泛化增益归因不清。论文证明的是优化收敛和 tuning reduction，不是 flatness-generalization 的严格机制。深度实验中更高 test accuracy 可能主要来自更好的学习率轨迹、implicit annealing 或 baseline 未充分调优，而不是 Polyak correction 带来的独立泛化能力。

Takeaway

• 1. 最值得记住的是“Polyak step size 不能机械套到 SAM 上”：只要 update direction 在 extrapolated / perturbed point，就必须在 numerator 中扣除 state-direction mismatch 项。
• 2. 这篇真正推动的是 adaptive SAM 的理论化，而不是新的泛化理论。
• 它给出了一种从收缩分析推导 scheduler 的模板，可迁移到 extragradient、lookahead、adversarial perturbation、two-point gradient methods 等结构。
• 3. 对实践的启发是：function-value-based scheduler 可能比 cosine/constant 在 sharpness-aware optimizer 中更稳，尤其当 ρ 较大时；但未来需要分析 effective LR dynamics，而不是只报最终 accuracy。

一句话总结

这篇论文把 stochastic Polyak step size 正确移植到 USAM 的扰动梯度几何中，是一篇窄而清晰的 theory-grounded scheduler 工作，实质贡献是 SAM-compatible Polyak numerator，而不是新的 sharpness/generalization 机制。