精读笔记

Problem Setting

论文标题：A Polyak–Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning（arXiv preprint / 2026）。

这篇实际处理的是 one-pass statistical inference 场景下的 Adam 型 stochastic approximation：在 Polyak–Ruppert averaging 后，带 adaptive preconditioning、momentum、以及可能的 coupled L2 weight decay 的迭代平均是否仍达到经典 SGD 的 sandwich covariance H^{-1}SH^{-1}。

真正困难有两个。第一，preconditioner P_t 不要求收敛，只要求某种 rate-only stabilization；因此不能把算法渐近等价成一个固定预条件 SGD。第二，momentum 使 Δ_t 的递推不闭合，历史梯度通过 m_t 进入系统，原先用于 non-convergent preconditioner 的 pathwise decomposition 不再能 isolate 一个小 remainder。

关键矛盾是：Adam 的有限样本行为依赖 preconditioner 和 momentum，但统计推断希望 averaged iterate 的一阶极限不依赖这些优化机制。论文要证明的不是 Adam 更快，而是这些机制在 PR 平均的 n^{1/2} 极限里“不可见”。

Motivation

已有路线不够的原因很明确：

1. 收敛 preconditioner 理论太弱。很多 asymptotic normality 结果要求 P_t→P，这排除了 EMA 类 adaptive optimizer 的核心动态特征。

2. An–Huo 的 preconditioner-only 技术不能直接加 momentum。论文用 Proposition 1 说明，如果坚持 canonical PR martingale term 和 Taylor term，那么任何通过 buffer telescoping / Abel summation 得到的 decomposition 都会退化为 Δ̄_n=Ξ_n+T_n+H^{-1}ḡ_n。这个 remainder 不是可控误差，而是把待证结论重新写了一遍。

3. Momentum-only 的 averaged SGD CLT 没有处理 adaptive preconditioning；preconditioner-only 的 CLT 没有处理 buffer state。缺的是两者同时存在时的闭合状态空间和 covariance projection 机制。

作者核心观察是：问题不是要找到更聪明的 Δ_t-only remainder，而是必须承认 momentum 改变了状态维度。只有在 augmented state 中，系统才重新成为可分析的线性 SA。

Core Idea

核心思想是把 SA-Adam 写成 z_t=(Δ_t,m_{t-1}) 的 2d 维 time-varying linear stochastic approximation。这样 momentum 不再是一个难以 telescope 的历史项，而是 drift matrix L_t 的一部分。preconditioner P_t 可以不收敛，只要其有效逆漂移 M_t=(P_tH)^{-1} 的一步变化足够慢。

这个建模方式的本质改变是：它不再试图证明 Adam 平均迭代 pathwise 接近 SGD，而是先证明 augmented chain 的 PR CLT，再通过一个投影恒等式把 iterate marginal 读出来。也就是说，Adam 的 momentum/preconditioning 被放进联合状态动力学里，但最终 leading martingale coefficient 对 iterate 的投影恰好等于 -H^{-1}。

和 prior 的本质区别在于，prior 多数依赖 drift 收敛或 iterate-only decomposition；这里依赖的是 augmented drift 的代数结构。真正新增的信息不是“Adam 也可以平均”，而是发现 paired drift L(P,ρ,τ) 与 noise injection B(P,ρ,τ) 之间存在精确 cancellation，使 frozen PR covariance 的 iterate block 对 P、ρ、τ 都不敏感。

Method

方法的关键机制可以压缩成四个必要环节：

1. Pathwise obstruction：先证明原来的 canonical decomposition 在 momentum 下是 tautology。这不是主定理，但很重要，因为它说明不能继续沿 preconditioner-only 的证明路线修修补补。

2. Augmented drift stability：构造 joint drift L_t，并分析其谱。每个特征值来自 λ^2-(τ_t+ρ_t μ_i(t))λ+τ_t μ_i(t)=0。谱实部为 O(τ_t)，正但趋零；系统是非正规、two-time-scale 的，不能用简单 uniform stability 处理。

3. Exact symmetrizer：论文构造 Q_t，使 (I-η_tL_t)^T Q_t (I-η_tL_t)=(1-ρ_t)Q_t。这个比普通 Lyapunov 方程更贴合离散动力学，也是 mean-square bound 能闭合的核心。它带来 anisotropic bound：Δ_t 与 m_t 的尺度不同，m_t 获得 O(t^{-γ}) 的更快二阶衰减。

4. Projection identity / Abel decomposition：在 augmented SA 的 PR 分解中，A_t=L_t^{-1}/η_t，且 A_tB_t=(-H^{-1},0)^T。于是 leading noise term 直接是 -H^{-1}ξ̄_n，buffer block 无 n^{1/2} leading fluctuation。Taylor remainder 和 time-varying Abel remainder 在 α<γ<1 下消失，得到 iterate sandwich CLT。

Key Insight / Why It Works

最关键 insight 是：adaptivity asymptotically invisible 不是因为 P_t 或 m_t 收敛到无害对象，而是因为联合 drift 与噪声注入之间存在精确投影消除。对 frozen coefficients，Σ_z=L^{-1}Σ_wL^{-T}，而其 iterate block 精确等于 H^{-1}SH^{-1}。这不是渐近近似，而是 block inverse 里的代数恒等式。

真正核心贡献我认为是 projection identity 加 augmented-state remainder control。前者解释 covariance invariance，后者保证 time-varying、non-convergent、two-time-scale 系统确实可以把 frozen identity 传到极限。symmetrizer 是证明工具上的关键贡献，尤其因为 drift 非正规且谱隙消失；没有它，mean-square stability 很难干净闭合。

哪些部分可能只是辅助：SA-Adam preconditioner verification、bias correction 作为 effective step size、SA-AMSGrad/full-matrix variants、coupled weight decay extension，更多是在说明框架适配 Adam 家族的若干变体。它们有用，但不是机制新意的来源。

这不是 scaling、data coverage、retrieval 或 benchmark trick 类型的工作；它是典型的 stochastic approximation 极限理论。增益也不是优化速度增益，而是统计推断上的“无方差代价”：你可以使用 adaptive/momentum optimizer，同时 PR average 的一阶 inferential covariance 不变。但这个结论只在 decaying-gain SA-Adam regime 成立，不能外推到 fixed-β Adam。

Relation To Prior Work

最接近的三条线：

1. Polyak–Ruppert averaged SGD：经典结果给 H^{-1}SH^{-1}。本文的目标是证明 Adam 型机制不破坏这个 limit。

2. Momentum averaged SGD：Tang et al. 证明无 preconditioner 的 momentum 在 averaging 后也有 SGD sandwich。本文把这个结论推广到 adaptive preconditioning 和 time-varying momentum，但代价是要求 ρ_t sub-linear decay。

3. Non-convergent preconditioned SGD：An–Huo 证明在 rate-only stabilization 下，preconditioner 不需要收敛也能保持 PR CLT。本文继承的主要是 stabilization condition，而不是 proof technique；因为 momentum 下原 proof path 被 Proposition 1 否掉。

看似新的 Adam/AMSGrad/weight decay 叙述，本质上是把 augmented-state PR CLT 接到不同 preconditioner construction 上。实质创新在于：对同时含 momentum 和 non-convergent P_t 的 paired drift 建立正稳定、非自治 CLT 和投影恒等式。它属于 stochastic approximation / online inference / adaptive optimization theory 的谱系，而不是 deep learning optimizer empirical paper。

Dataset / Evaluation

实验是验证型而非发现型。覆盖三类：合成 Toeplitz streaming regression、scalar exact variance evaluation、semi-synthetic real-covariate coverage。它们分别对应三个理论 claim：projection identity、γ<1 的必要性、Wald coverage。

这些实验基本支持论文的核心机制，尤其 scalar exact evaluation 对 γ=1 boundary 的展示比较有说服力；oracle sandwich Mahalanobis diagnostics 也直接对准了 asymptotic covariance claim。

但 evaluation 范围有限：没有真实大模型训练，没有 deployed Adam constant β，没有 decoupled AdamW，没有非凸深度网络，也没有在线 covariance estimator 的完整闭环验证。实验不能证明 practical Adam inference 可行，只能说明理论 regime 下的渐近现象数值上可见。这里没有 benchmark leakage 或隐式监督问题；主要 limitation 是实验场景离实际 Adam deployment 较远。

Limitation

最重要限制是适用对象不是常用 Adam，而是 SA-Adam：β_{1,t}=1-c_1/t^γ，β_{2,t}=1-c_2/t，并且 α<γ<1。constant-EMA Adam 明确不在框架内；作者也承认其 preconditioner fluctuation 不衰减，可能需要完全不同的 Markov chain / mixing 分析。

理论是局部条件定理。它依赖 trajectory confinement、bounded gradients、strong convexity/local quadratic expansion、conditional covariance continuity、fourth-moment stability。文中对 Assumption 6 的处理偏假设化，虽给出理由但没有完整 primitive verification；这一点限制了结果作为端到端 Adam convergence+inference theorem 的力度。

γ<1 是硬边界，不是技术小瑕疵。γ=1 时 scalar model 已经出现 sandwich inflation。因此 canonical PR-like momentum decay 不能直接套用。

Decoupled AdamW 不覆盖，而且不是简单 proof gap。decoupled decay 破坏 P_tH paired structure，使 fixed point 和 covariance 可能依赖 preconditioner。这个限制对实践影响很大。

此外，preconditioner stabilization 仍是强结构条件。SA-Adam 用 ρ_t^v=c_2/t 和 bounded gradients 保证 O(t^{-1}) increments；这与 deployed adaptive optimizers 的 constant EMA 本质不同。所谓“Adam family”需要理解为 SA-reparametrized family，而不是工业默认 Adam。

Takeaway

• 1. 对带 memory 的 stochastic optimizer，正确状态空间比路径分解更重要。
• Momentum 一旦进入，iterate-only proof 很容易变成 tautology。
• 2. Adaptive preconditioning 的一阶统计不可见性可以来自 algebraic projection，而不是 preconditioner convergence。
• 这是可迁移的 insight：很多 optimizer 的 inferential limit 可能应从 joint drift/noise projection 看，而不是从 last-iterate dynamics 看。

一句话总结

这篇论文把 non-convergent adaptive preconditioning 与 momentum 的 Polyak–Ruppert CLT 统一到 augmented-state SA 框架中，核心贡献是证明在 SA-Adam 的 decaying-gain regime 下，joint drift 的投影恒等式使 averaged iterate 保持经典 SGD sandwich covariance。