精读笔记

Problem Setting

《Convergence of Steepest Descent and Adam under Non-Uniform Smoothness》（arXiv preprint / 2026）实际解决的是一个优化理论中的归因问题：在 ML 中常见的 loss landscape 不是 globally smooth，为什么 sign / normalized / RMSProp / Adam 这类看似激进或非单调的 first-order methods 仍能稳定甚至更快。

真正困难点在于，传统 smoothness 给的是 Hessian 的全局常数上界；一旦 Hessian 无界，标准 descent lemma 失效，constant step-size 分析通常只能靠 clipping、line-search 或额外 bounded-gradient 假设。另一方面，Adam / RMSProp 的 diagonal preconditioner 使用历史梯度，理论上可能严重滞后当前局部几何：过去梯度大时分母过大，过去梯度小时步子过激。论文要处理的关键矛盾是：curvature 非均匀、梯度历史滞后、又希望证明常数步长快速收敛。

作者把问题限定在满足 ∥∇²f(θ)∥_{p→q} ≤ H0 + H1 f(θ) 且满足 Lojasiewicz / gradient domination 的目标上。这个 setting 的实际含义是：loss 越小，局部曲率也越小；在 H0=0 的典型 separable loss 中，最优点在无穷远，因而 normalized 或 sign step 不需要在有限 minimizer 附近不断缩小步长。

Motivation

已有路线不够主要有两点。第一，Zhang et al. 风格的 non-uniform smoothness 把 Hessian 绑定到 gradient norm，形式上较强，也不自然闭合于 finite-sum 和 affine transformations；这对监督学习常见 finite-sum loss 不友好。第二，已有 Adam 理论多半证明 stationary-point convergence，或者依赖 bounded gradients / convexity / stochastic assumptions，不能解释为什么 Adam / RMSProp 在某些经典目标上可以比 GD、AdaGrad、AMSGrad 有阶上的优势。

作者的核心观察是：很多 ML loss 的 Hessian 更自然地由 objective value 控制，而不是由 gradient norm 控制。exponential / logistic separable loss、softmax policy gradient、某些两层网络都具有类似结构。这个观察直接改变了分析对象：不是问“梯度多大时曲率多大”，而是问“当前 loss 水平决定了可接受的局部曲率和步长”。

关键缺口是 adaptive methods 的历史项分析。对于 RMSProp / Adam，单步 descent 不难，难的是证明分母中的过去梯度和当前梯度之间有可控关系。论文的技术动机就是从 (H0,H1)-NS 推出 multiplicative Lipschitz，从而把历史梯度串起来。

Core Idea

论文最核心的思想是：把非均匀光滑性从 additive / local Hessian bound 提升为一种 multiplicative geometry。若 H0=0，则 ∥∇²f∥ ≤ H1 f 会推出 log f 是 Lipschitz 的，进一步推出相邻点之间的 loss ratio 和 gradient norm ratio 可控。这个性质对 normalized / sign 方法尤其关键：它们不关心梯度大小，只关心方向或坐标符号，因此如果 loss-curvature 同步衰减，固定尺度的步子不会像在普通 smooth strongly convex finite minimizer 问题上那样必然 overshoot。

和 prior 的本质区别在于，论文不是通过 adaptive line-search 找局部 smoothness，也不是通过 clipping 限制梯度，而是证明在这类目标上，目标函数自身提供了一种“相对尺度不变性”。RMSProp / Adam 的优势也被重新解释：它们不是简单估计二阶信息，而是通过近期梯度归一化近似 sign-like update；当历史梯度与当前梯度在 multiplicative sense 下同阶时，这种归一化能获得类似 normalized steepest descent 的快速阶段。

Method

1. (H0,H1)-NS 结构引理：它解决的是标准 descent lemma 无法直接用于无界 Hessian 的问题。作者证明 ∥∇f∥q ≤ sqrt(2H0 f + H1 f²)，以及 shifted function f+H0/H1 的 multiplicative Lipschitz。这一步是全篇的地基，因为它把 function value、gradient norm、curvature 绑定为一个闭环。

2. 一般 dual norm 下的 normalized steepest descent：它解决的是 sign GD、normalized GD、coordinate descent 分析割裂的问题。通过 p/q dual norm，NSD 一次性覆盖 p=∞ 的 sign GD、p=2 的 normalized GD、p=1 的 Gauss-Southwell sign coordinate descent。核心变化是收敛率不再显式依赖维度，而依赖对应 norm 下的 margin / domination 常数。

3. 两阶段收敛分析：它解决 H0>0 时 near-optimum overshoot 的问题。若目标精度 ε > H0/H1，处在 curvature dominated by H1 f 的区域，可以线性收敛；若 ε < H0/H1，则进入 H0 主导区域，需要缩小步长，退化为 sublinear。这个 phase transition 是论文对“什么时候 sign / Adam 快”的清晰刻画。

4. RMSProp / Adam 的历史梯度控制：它解决 preconditioner stale 的问题。作者用 gradient norm 的 multiplicative Lipschitz 证明过去梯度的加权和不会比当前梯度大太多，从而 RMSProp 的有效 descent 项仍然是当前 ∥∇f∥1 的常数比例。Adam 多一个 momentum 偏差项，作者证明该项可被 O(η²(H0+H1 f)) 吸收，因此和 RMSProp 同阶。

5. Lower bound separation：它解决“Adam/RMSProp 快是否只是分析 artifact”的问题。在一维 logistic loss 上，证明任意 bounded non-increasing effective step-size 的 GD / heavy-ball / AdaGrad / AMSGrad 类方法只有 Ω(1/T)，而 RMSProp / Adam 可线性收敛。这个例子很窄，但给出了清楚的机制分离：非递增有效步长会在 separable logistic 尾部过于保守。

Key Insight / Why It Works

最重要的 insight 是：在 H0=0 的 loss-controlled curvature 目标上，接近 optimum 并不意味着需要更小的 normalized step。普通 intuition 来自 finite minimizer：越接近最优点，固定 sign step 越容易震荡；但 separable logistic / exponential 的 infimum 在无穷远，loss 和 curvature 同时指数衰减，固定 sign step 反而持续制造固定 margin 增量，带来 loss 的几何下降。这解释了为什么 sign GD 可以比 constant-step GD 快：GD 的步长乘上梯度大小，在 tail 区域自然变小；sign / RMSProp / Adam 消除了这个 shrinkage。

RMSProp / Adam 有效的核心不是“自适应学习率更智能”，而是它们在这些目标上近似实现了归一化梯度动力学。对于 logistic tail，梯度本身指数小，GD update 也指数小，因此只能慢慢爬；RMSProp / Adam 用 sqrt(second moment) 抵消梯度量级，使有效移动不随 loss 同比例消失。这是 separation 的真正来源。

Adam momentum 部分在本论文中更像技术负担而非核心创新。证明里 momentum error 被吸收到二阶项，说明主要增益来自 RMSProp-style denominator，而不是 first-moment momentum。换句话说，本文支持的是“adaptive normalization beats monotonically shrinking effective step-size”，不是“Adam 的 momentum 机制带来本质优势”。

对理论贡献而言，最可迁移的是 multiplicative Lipschitz 框架。它把非均匀 smoothness 下的历史轨迹控制从 additive bound 换成 ratio bound，这对任何使用 moving average / memory 的 optimizer 都有价值。可能只是辅助的是一般 p/q norm 的统一写法：它优雅地覆盖 sign / coordinate / normalized GD，但主要新意仍在 value-controlled curvature + adaptive-history analysis。

Relation To Prior Work

最接近的是 Vaswani & Harikandeh 以及 Alimisis et al. 关于 ∥∇²f∥ ≤ H0+H1 f 的工作。本文的实质推进有三点：从 Euclidean norm 扩展到 induced p→q norm；从 GD / normalized GD 扩展到 deterministic diagonal RMSProp / Adam；给出 AdaGrad / AMSGrad / GD 的 lower-bound separation。前两点是技术 generalization，第三点是更强的 optimizer-level claim。

相对于 Zhang et al. 的 ∥∇²f∥ ≤ L0+L1∥∇f∥，本文的建模更适合 finite-sum ML losses，也更自然覆盖 logistic / exponential separable examples。这个差异不是符号替换，而是改变了闭合性质：objective-value 控制在 finite-sum 和 affine transformations 下更稳定。

相对于 Adam convergence literature，本文不是在一般 nonconvex 下追求 O(1/ε²) stationary convergence，而是在更结构化的目标族上证明 function-value 快速收敛和 optimizer separation。它属于“用更贴近 ML loss 的几何假设解释 optimizer behavior”的谱系，而不是“最弱假设下证明 Adam 不发散”的谱系。

看似新的 sign GD / coordinate descent 结论，本质上和 normalized steepest descent、margin-based separable classification、softmax PG 的已有思想同源；真正新增的信息是这些方法、RMSProp/Adam 和 lower-bound separation 可以被同一个 loss-controlled curvature 机制统一解释。

Dataset / Evaluation

这篇论文没有传统实验评估；evaluation 主要是理论 examples、corollaries 和 lower bound。覆盖的任务包括 separable exponential / logistic classification、multiclass logistic、softmax policy gradient、若干两层网络、GLM。这些例子足以验证假设不是空构造，也支持“该几何在 ML 中出现”的 claim。

但它并没有验证大规模深度学习中 Adam 优势的完整机制。两层网络和 overparameterized PL references 只能说明某些 structured nonconvex objectives 满足假设，不能说明 Transformer / diffusion / RLHF training 中的 Adam 行为由同一机制主导。没有 stochastic setting，没有真实 benchmark，没有 ablation，因此不能把结论外推为“解释 Adam 在实践中为什么总是好”。

Lower bound 用一维 logistic loss，非常干净但也非常偏向作者机制：separable tail、H0=0、infimum at infinity、effective step-size non-increasing。它确实验证了 separation 的存在性，但不证明一般高维实际任务中 AdaGrad / AMSGrad 必然慢。

Limitation

最核心限制是假设强。NL / gradient domination 对全局 function-value convergence 至关重要；没有它，最多只能得到 stationary-point 结果。很多真实 nonconvex 网络并不全局满足，或者只在 NTK / overparameterized / local basin 中近似满足。论文没有充分说明这些常数在实际训练中是否可用，尤其是 H0/H1、µ、margin 在高维网络中的量级可能决定理论是否 vacuous。

第二个限制是 deterministic。RMSProp / Adam 实践中最关键的是 stochastic gradient、batch noise、epsilon、bias correction、weight decay、schedule、normalization interaction；本文基本绕开了这些。multiplicative gradient control 在 full-gradient 轨迹上成立，不代表 noisy trajectory 上历史梯度 ratio 仍可控。增益来源在真实训练中可能主要来自 noise filtering / coordinate-wise variance normalization，而非本文机制。

第三，H0/H1 阈值是理论上限。当 H0=0 时可以线性；但一旦 H0 非零，线性阶段只到 O(H0/H1) 邻域，之后 RMSProp / Adam 的 rate 甚至可能比 NSD 更差，因为分析中 descent exponent 从 τ 变成 2τ。这说明 adaptive normalization 的优势高度依赖 curvature truly vanishes with loss。

第四，Adam 的优势归因并不完整。论文证明 momentum error 可被吸收，所以并未解释 Adam 相对 RMSProp 的实际差异。若有人试图用本文解释 AdamW 在 LLM 中的优势，那是过度外推。

第五，lower bound 的方法类限制为 bounded、non-increasing effective step-size 且 independent of T。AdaGrad / AMSGrad 落入其中，但许多 adaptive schedule、line-search、large-step GD、warmup / restart 都可能绕开该 lower bound。因此 separation 是结构性存在结果，不是 optimizer ranking 的一般定理。

Takeaway

• 1. 最值得记住的是 value-controlled curvature：∥∇²f∥ ≤ H0+H1 f 比 gradient-controlled NS 在很多 ML loss 上更自然，也更适合 finite-sum 分析。
• 2. Sign / normalized / RMSProp / Adam 在 separable tail 上快，是因为它们抵消了 GD update 随梯度消失而变小的问题；这比“Adam 估计二阶信息”更接近本文给出的机制解释。
• 3. Multiplicative Lipschitz 是可迁移技术。
• 任何带历史状态的 optimizer，如果要在 non-uniform smoothness 下分析，都需要控制过去梯度相对当前梯度的 ratio，而不是只做 additive smoothness bound。

一句话总结

这篇论文把 Adam/RMSProp 的一类快速收敛解释为 loss-controlled curvature 下的自适应归一化效应，并用 multiplicative geometry 给出 deterministic separation，是 non-uniform smooth optimization 理论从 GD/line-search 走向 diagonal adaptive methods 的一次实质推进。