精读笔记
Problem Setting
《On the Convergence of Adam, Revisited》（arXiv preprint / 2026）实际解决的是 Adam 理论中的一个剩余漏洞：固定 β1, β2 的 projected Adam 是否可能在所有参数区间都具有非零平均 regret。真正困难点在于，Reddi-Kale-Kumar 的经典反例只覆盖 β1 < sqrt(β2)，而且需要可能很大的周期斜率；如果 β1 和 β2 的记忆长度关系改变，原来的“偶发大梯度误导二阶矩”的证明不再直接工作。本文把问题压缩到一个更尖锐的矛盾：真实线性目标的长期最优方向指向左端点，但 Adam 的归一化短记忆动态在稳态中产生稳定的右向漂移。
Motivation
已有路线不够的地方不是缺少又一个反例，而是缺少一个参数无关、梯度有界、机制清晰的反例。RKK18 已经说明 Adam 的收敛声明有问题，但其构造容易被理解为特定 β 区间或极端尺度导致的 pathology。本文的核心观察是：不需要大斜率，也不需要复杂 adversary；三周期 (a, -1, -1) 在 a 略大于 2 时已经足够，因为 Adam 的 m 和 v 对同一信号的相位响应不同。关键缺口因此从“是否存在坏序列”变成“短记忆自适应归一化是否内生地允许错误稳态漂移”。
Core Idea
论文真正的核心思想是把 Adam 看成由周期梯度驱动的低维离散动力系统，而不是从一般 regret bound 的松不等式入手。由于损失是线性的，梯度不依赖 x_t，m_t 和 v_t 的演化完全由外部三周期序列决定；三步 return map 是 affine contraction，因此存在显式周期稳态。只要证明这个稳态下三步归一化方向的和 S(a)=Σ M_i(a)/(sqrt(V_i(a))+ε) 为负，就能推出 x 的更新在每个周期向右漂移。
和 prior 的本质区别在于，本文不靠把某一步梯度做得很大来压倒历史，而是利用 denominator 的相位错配：在 a=2 时原始梯度周期和为 0，momentum 稳态也三步和为 0；但二阶矩在正斜率步更大，使正的 M_1 被更强除小，而负的 M_2,M_3 被相对放大，于是归一化后的和严格为负。δ>0 只是把 comparator 的真实最优方向轻微推向左端点，同时保留 Adam 的右向漂移。
Method
关键机制只有三层。第一，周期稳态：对 m 和 v 分别写出三步 contraction，得到 M_1,M_2,M_3 与 V_1,V_2,V_3 的显式公式；这一步解决的是 transient 不可控的问题，把长期行为变成代数不等式。第二，漂移判定：在 a=2 证明 M_1>0、M_2,M_3<0、ΣM_i=0，同时 V_1>V_2,V_3，因此归一化后 S(2)<0；这一步说明失败来自 adaptive denominator，而不是一阶 momentum 本身。第三，投影与步长累积：用三步投影引理保证先左后右的周期更新在投影后仍至少保留正净位移，并利用 α_t→0、α_{t+1}/α_t→1、Σα_t=∞ 使右向漂移最终到达 +1。regret 计算则只是后果：最优固定点是 -1，算法极限是 +1，每周期累计斜率 δ，平均 regret 收敛到 2δ/3。
Key Insight / Why It Works
最重要的 insight 是：Adam 的失败可以由“短记忆二阶矩的相位选择性”单独解释。正梯度出现时，v 的稳态值最大，导致正向更新被抑制；负梯度出现时，v 较小，负 momentum 对 h 的贡献被放大。由于 Adam 更新是 x ← x - αh，h 的负平均值会把 x 推向右端点。这里的关键不是 scaling，不是 data coverage，也不是更强 adversary，而是 adaptive normalization 本身改变了梯度序列的有效平均。
最可能的核心贡献是 S(2)<0 的参数全覆盖证明：它把 β1,β2 的任意取值都纳入同一个简单不等式。δ 连续性、投影引理、bias correction 讨论、AdamW/NAdam/AdaMax/Muon 扩展大多是把这个核心机制搬到不同外壳上；重要但偏辅助。i.i.d. 版本进一步说明严格周期性不是必要条件，但它仍然依赖同一个负相关结构：一阶加权平均与二阶分母的反向协方差。这里没有实验增益归因问题；这是纯理论 negative result，不能用 benchmark leakage 或 hidden supervision 解释。
Relation To Prior Work
最接近的是 RKK18 的 Adam non-convergence 反例和 RMSProp 的三周期反例。本文的实质新增信息是：RKK18 的参数限制和大斜率需求不是本质，三周期有界斜率即可覆盖所有 β1,β2。和 AMSGrad/AdaGrad/NosAdam 的关系也很清楚：这些方法引入更长记忆或单调累积 denominator，破坏 v_t 的周期性回落，因此不直接受这个一维机制攻击。
看似新的一些扩展，如 AdamW、NAdam、AdaMax、Adan、Muon，更多是同一漂移判据在不同 update rule 下的重用；它们的价值是说明问题属于“短记忆 adaptive/sign-normalized optimizer”谱系，而不是 Adam 某个实现细节。真正的创新不是提出新优化器，而是给出一个更干净的动力系统解释：Adam 的 regret 失败来自稳态归一化方向与真实累计梯度方向的系统性错位。
Dataset / Evaluation
没有数据集和实验评估，evaluation 是数学构造。任务覆盖范围是 online linear optimization on bounded interval，并扩展到若干 Adam-family 变体及 i.i.d. 随机斜率。它很好地支持核心 claim：存在有界梯度、有界域、标准衰减步长下的非零平均 regret，且适用于任意 β1,β2。
但它不验证实践 claim，例如 LLM 训练中 AdamW 是否因为同一机制产生实质性优化偏差。文中引用 BERT/GPT/Llama/DeepSeek 的 β 设置主要是背景动机，不构成 empirical evidence。真实训练中的梯度分布、坐标相关、高维曲率、batching、clipping、warmup 和 schedule 都没有进入评估；因此这篇论文的证据强在理论反例，弱在实践外推。
Limitation
成立依赖的核心前提是梯度序列可以呈现特定的符号/幅度模式，并且优化目标采用 online regret 对固定 comparator 的标准。该构造在一维线性损失上非常干净，但也意味着它没有说明 Adam 在一般 stochastic nonconvex training 中会如何失败。泛化到 Adam-family 变体时，多数证明仍依赖相同的端点投影和周期/短记忆稳态结构；离开投影域、改变 comparator、加入强凸曲率或复杂 schedule 后，结论不自动迁移。
另一个上限是 δ 的存在性是局部连续性结论，文中未充分说明 δ 随 β1,β2,ε 接近边界时的定量尺度；如果 δ 极小，理论 regret 下界可能很弱。对 AdamW 的处理还改变了域到 [-4,-2] 以让 weight decay 项帮助右漂移，这说明扩展并非完全同构。实践意义上，本文不能证明 AdamW 训练 LLM 的失败风险，只能证明“固定 β 的短记忆自适应归一化没有一般 regret 保证”。
Takeaway
- 第一，Adam 的理论问题不只是 RKK18 参数区间内的特殊现象，而是短记忆 denominator 的结构性风险。
- 第二，分析 adaptive optimizer 时，稳态相位偏差比单步梯度尺度更关键；看累计梯度均值不足以判断算法漂移方向。
- 第三，真正能修复这类反例的方向大概率需要改变 v 的记忆结构，例如 AMSGrad/AdaGrad/NosAdam 式长记忆，而不是只调 β 或加 bias correction。
- 第四，这个构造可迁移为一个诊断工具：检查优化器是否会把零均值或轻微偏置的梯度过程通过归一化变成反向有效漂移。
一句话总结
这篇论文把 Adam 非收敛从“特定参数和大梯度反例”推进为“短记忆自适应归一化的普适稳态漂移反例”，是 Adam 理论谱系中一次机制层面的负面结果澄清。