精读笔记
Problem Setting
Stochastic convergence of parallel asynchronous adaptive first-order methods（arXiv preprint / 2026）。这篇论文处理的是非凸随机优化中的异步块并行 adaptive first-order method，而不是单纯提出一个新 optimizer。它关心的对象是共享内存中多个 worker 对不同参数块独立读取、计算、写回时，AdaGrad/Shampoo/Muon 这类预条件更新是否还能有全局收敛保证。
真正困难点在于，异步系统破坏了优化分析里最基本的“当前点—当前梯度—当前预条件器”三元关系。一个 block 的梯度可能来自 stale snapshot，preconditioner 可能是本 block 的历史累计量，更新方向又经过非欧氏范数归一化。已有异步 SGD 理论通常只需要控制 stale gradient 与当前 gradient 的差异；这里还要控制 adaptive preconditioner 的谱/trace 演化。
以前方法卡在两个位置：一是大多只分析普通梯度步，无法覆盖现代 adaptive / matrix preconditioned optimizer；二是即使有 momentum 或 adaptive step，理论往往需要 bounded gradients、small stepsize 或强凸性。本文的关键矛盾是：异步系统需要弱同步和高吞吐，而 adaptive optimizer 的理论又依赖全局一致的累计几何信息。论文的解决方式不是消除这个矛盾，而是通过 block separability 和 delayed synchronous abstraction 把它压到可分析的范围内。
Motivation
已有路线不够的根本原因是理论对象落后于实践对象。实践中训练大模型时，layer-wise / block-wise 的 adaptive preconditioning 已经很常见，尤其是矩阵块上的 Shampoo/Muon 类更新；但异步优化理论仍主要围绕 SGD/Hogwild/AsySGD。也就是说，系统层面大家想去掉 barrier，优化层面大家想用更强的几何预条件，但两者的交集缺少理论。
作者的核心观察是：很多现代 adaptive optimizer 本质上是 block-local 的。每个 layer/block 可以有自己的 norm、preconditioner 和 normalization；如果系统也按 block 分配 worker，那么异步更新天然接近 block-Jacobi。这个观察使得“异步 adaptive preconditioning”不再是任意共享变量上的混乱并发，而是可被组织成一串带 delay 的 block updates。
关键缺口不是缺一个新的经验 optimizer，而是缺一个能同时覆盖非凸、随机、异步、adaptive preconditioner、matrix block、momentum 的统一收敛框架。论文选择在较强结构条件下先把这个框架建立起来。
Core Idea
论文真正的核心思想是把真实异步算法 ASADPREC 重新解释成分析用的 DADPREC：每当共享内存完成一个 block-atomic update，就把它视为一次逻辑迭代；该迭代只更新一个或若干 active blocks，使用的是过去某个时间点的 stochastic block gradient。这样，异步并发被建模为 bounded-delay block-coordinate adaptive method。
这个转换很重要，因为它把系统问题变成优化问题。之后分析不需要模拟多个 processor 的 interleaving，而只需要处理 delayed gradient 带来的误差项。由于 block 是 totally separable 的，写冲突被排除；由于每个 block 的 preconditioner 只依赖该 block 的历史量，preconditioner 的累计结构仍能 telescoping。
本质区别在于 prior 异步 SGD 主要控制步长足够小以抵消 staleness；本文则利用 adaptive preconditioner 的累计 trace/log-trace 控制 step 序列，并允许不同 block 使用不同几何。这是一种从“异步梯度下降”到“异步几何化块下降”的建模升级。
Method
1）ASADPREC / DADPREC 抽象：解决真实异步执行难以分析的问题。ASADPREC 描述共享内存中的 block-atomic read/write；DADPREC 是逻辑上的 delayed block update。核心变化是把 concurrency 序列化为 delayed iteration，从而可以沿用 ADPREC 的累计预条件器分析。
2）Block-wise norm 与 dual norm：解决不同变量类型不可用同一欧氏几何处理的问题。每个 block 可以有自己的 norm 与 normalization operator，使 scalar bias、dense matrix、embedding 等都能放入同一理论语言。核心变化是 step direction 被定义为相应 norm 下的 normalized/preconditioned direction。
3）Preconditioner update operator U 与 normalization operator N：解决覆盖多种 adaptive optimizer 的问题。U 累积 block 的尺度/曲率信息，N 给出归一化方向。只要满足结构恒等式和 compatibility 条件，就能纳入 AdaNorm、AdaGrad、Shampoo、Muon。这里的抽象不是装饰，而是证明 trace telescoping 的接口。
4）Momentum 两种定义：MM 用 momentum 本身更新 preconditioner，MG 用原始 gradient 更新 preconditioner、用 momentum 更新方向。MM 理论更干净，因为 momentum 可以直接扮演“近似梯度”；MG 更接近常见实现，但会引入 preconditioner 与实际方向不一致的扰动，因此需要额外小步长或累计有界条件。
5）Approximate normalization：主要为 Muon/Shampoo 的实际实现服务。理论上只需 normalization 的 norm 落在常数区间内，收敛阶不变。这部分是实用补丁，不是主要理论创新。
Key Insight / Why It Works
最关键的有效性来源不是异步本身，而是 adaptive preconditioner 的累计结构在 block-separable delayed setting 下仍然保留。每个 block 的 preconditioner 是单调累积的，trace(Pi^{1/2}) 与 trace(log Pi) 给出两个核心控制量：前者控制累计梯度规模，后者控制 normalized step 的平方和。只要 stale gradient 的误差能通过 Lipschitz smoothness 和 bounded delay 转成过去 step norm 的和，就能被这些累计量吸收。
换句话说，论文的证明核心是一个“延迟误差可由 adaptive history 自我支付”的机制。staleness 带来的当前梯度差异项依赖过去更新长度；过去更新长度又由 Z 的累计平方控制；Z 的累计平方由 log-preconditioner 控制。这条链条成立，才使得不需要 bounded gradients 或预设衰减步长。
最可能的核心贡献是 ASADPREC→DADPREC 的 delayed abstraction 加上 ADPREC trace machinery 的组合。单独看每个元素都不是全新：异步转 delayed iteration 是经典思路，AdaGrad trace/log 分析也已有，block-wise norm/dual norm 来自 ADPREC。但把它们拼成可覆盖 Shampoo/Muon 的异步非凸随机理论，是实质推进。
哪些部分更像辅助？实验、momentum variants、approximate normalization 都更偏工程/扩展。momentum 理论尤其显示出问题本身并未完全解决：MM 能保持理论优雅，是因为它把 momentum 重新定义成 preconditioner 的输入；MG 更贴近实践，但理论代价明显。这里的 insight 是：异步 adaptive momentum 的难点不在 momentum 平滑梯度，而在 preconditioner 累积对象和实际更新对象不一致。
这不是 data coverage、retrieval、test-time compute 类型的增益；它本质上是 better inductive bias / geometry + systems scheduling。所谓性能收益主要来自两个来源：adaptive geometry 改善病态问题上的优化轨迹，异步调度减少异构 block 的 barrier idle time。但实验中的吞吐增益并不强，且 full-gradient evaluation 模型削弱了异步优势，所以系统层面的增益归因仍不完全清楚。
Relation To Prior Work
最接近的技术谱系有三条：Hogwild/AsySGD/ARock/AsyFLEXA 的异步优化理论，AdaGrad/Shampoo/Muon 的 adaptive preconditioning，和 ADPREC 的统一非凸 adaptive first-order 分析。本文的实质新增信息是把第二、第三条嵌入第一条，并证明在 bounded-delay block-separable 异步执行下仍有 O(1/sqrt(t)) 级别收敛。
和 Hogwild 类工作的本质差异：Hogwild 关注无锁稀疏/部分可分结构下普通 gradient step 的冲突和延迟；本文关注 block-atomic、totally separable、preconditioned normalized step。它牺牲了一部分几何一般性，换来了对现代 adaptive optimizer 的覆盖。
和 ADPREC 的差异：ADPREC 是同步 stochastic adaptive first-order theory；本文主要贡献是把它搬到异步 delayed block setting，并处理 delay 项、block activity set、momentum perturbation。严格说，很多数学 machinery 是 ADPREC 的延伸，而不是从零开始的新分析。
和 PASSM / momentum asynchronous methods 的差异：PASSM 有 momentum 但不是 adaptive preconditioned geometry；本文把 momentum 放到 adaptive framework 中，并明确区分 MM 与 MG 两种语义。这个区分有价值，因为它揭示了常见 momentum 实现和理论友好 momentum 之间的张力。
看似新的地方中，inexact normalization 更像已有理论的常数松弛；实验中的 warm-started power iteration 也是工程性 proxy。真正创新集中在统一建模和收敛分析接口，而不是某个 optimizer recipe。
Dataset / Evaluation
实验覆盖了若干小到中等规模的 CPU 共享内存任务，包含 dense MLP、MoE-like、embedding/CTR/推荐等结构，意图验证异构 block 成本下异步 adaptive optimization 的可行性。它确实覆盖了不同 block cost heterogeneity，且在真实机器上测 throughput，这比纯 toy simulation 更有说服力。
但 evaluation 对核心 claim 的支持是有限的。论文的主要 claim 是理论收敛与异步 adaptive optimizer 的相关性；实验只能说明在这些设置下异步没有明显破坏收敛，并有一定吞吐提升。它没有证明在真实大规模分布式/GPU/LLM 训练中同样成立，也没有充分隔离 adaptive preconditioning、asynchrony、momentum、block assignment 各自的贡献。
尤其重要的是，实验采用 full gradient evaluation model：每个 worker 常常计算完整 stochastic gradient 再取 block component。这会显著削弱异步 block 方法的系统优势，也使得吞吐增益偏小。作者也承认如果 block gradient 可低成本独立计算，异步优势才可能大幅放大。因此当前实验更像机制验证，而不是 deployment-level evidence。
实验数字不需要过度解读。ASADPREC 在不少 benchmark 上表现不错，但不同 momentum variant 没有稳定赢家，说明 practical recipe 尚未收敛。增益来源不清：可能来自更多 wall-clock updates、adaptive geometry、异步噪声正则化，也可能只是特定 CPU 实现和 block cost 分布下的调度收益。
Limitation
最核心的理论前提是 totally separable blocks。这个假设让写冲突消失，也让每个 block 的 preconditioner 可以独立累计；但真实模型中的参数块通常在 loss 中强耦合，只是变量写入不重叠。理论虽然允许 gradient 依赖完整 X，但更新几何上不允许 overlapping blocks。若推广到 partially separable 或共享参数结构，证明中的 clean telescoping 可能会断。
bounded delay 是另一个硬前提。真实异步系统中 delay 分布可能长尾，尤其在异构 worker 或通信拥塞下。文中未充分说明 bounded-delay throttle 对吞吐和实际 deployment 的影响；如果为了满足理论而强行 throttle，异步收益可能被削弱。
oracle 条件也不弱。unbiased block oracle 和 cumulative variance bound 在现代深度学习 mini-batch、data augmentation、non-stationary sampling、mixed precision 下未必严格成立。高方差下的速率表达依赖 ν_t 或 α，理论解释力有限。
momentum 部分的上限明显。MM variant 理论漂亮，但它把 preconditioner 建在 momentum 上，和很多实践 optimizer 的语义不同；MG variant 更自然，却需要 small eta 或累计 Z 有界。这基本说明常见 asynchronous adaptive momentum 的稳定性仍没有被干净解决。
Scalability 上限也未被充分验证。CPU 共享内存、少量 blocks、full-gradient duplication 与现代 GPU cluster 训练相差很远。matrix preconditioner 的 atomicity、positive-definiteness、跨设备同步、memory footprint 都可能成为瓶颈。所谓 scalable 更像理论上可扩展到 layer-wise block，而非实验上已经证明 large-scale。
近似归一化只以常数区间形式处理，实际 Newton-Schulz 在低精度、病态矩阵、非收敛迭代下是否满足这些常数界，文中未充分说明。这里可能主要是 engineering assumption，而不是已闭合的理论环节。
Takeaway
- 1）最值得记住的是建模转换：真实异步 adaptive block optimizer 可以被逻辑化为 bounded-delay DADPREC，只要 block ownership/atomicity 足够强。
- 这是把系统异步性纳入 adaptive optimizer 理论的有效入口。
- 2）adaptive preconditioner 的 trace/log-trace 累计控制可以吸收 delayed-gradient 误差；这说明未来异步优化理论不必局限于 small-step SGD，可以围绕“几何累计量如何支付异步误差”来发展。
- 3）momentum 在异步 adaptive setting 下不是免费增强。
一句话总结
这篇论文把异步优化理论从 SGD 推进到 block-wise adaptive preconditioned geometry，核心贡献是用 delayed block abstraction 和 ADPREC trace machinery 为 AdaGrad/Shampoo/Muon 类异步方法建立非凸随机收敛框架。