精读笔记

Problem Setting

论文关注的不是一般意义上的 Muon convergence，而是一个更尖锐的问题：在 stochastic non-convex + heavy-tailed gradients 下，如果用 Muon 自然对应的 stationarity measure，即核范数 ∥∇F∥S1，Muon 是否真的比欧氏方法有 first-order complexity 优势。

真正困难点在噪声项。非欧几里得 steepest descent 的下降方向由 primal norm 决定，stationarity 由 dual norm 衡量；对 Muon，primal 是 spectral norm，dual 是 nuclear norm。已有分析通常为了处理 stochastic gradient noise，把 dual norm 先用 Frobenius norm 上界，再套 Hilbert-space martingale bound。这一步直接引入 norm-equivalence factor，例如 S1 相对 Frobenius 的 √rank，复杂度里进一步放大。

关键矛盾是：Muon 的经验优势看起来来自矩阵几何，但传统理论在处理随机噪声时又把问题拉回欧氏几何，等于把最重要的结构抹掉了。本文要证明的是，只要噪声模型也放在 native geometry 中，非欧几得方法确实可以在更强 stationarity 下避免欧氏方法的额外维度惩罚。

Motivation

已有路线不够的地方很明确：它们证明了 Muon-like normalized steepest descent 可以收敛，但没有解释为什么它在 stochastic LLM training 中可能优于 Euclidean optimizer。若最终保证只是 ∥∇F∥S1 ≤ ε，但中间噪声控制仍靠 Frobenius，那么得到的 bound 和 Euclidean method 经过 stationarity correction 后没有本质区别。

作者的核心观察是，重尾噪声不是附带难点，而是放大几何差异的地方。在 bounded variance + Euclidean noise assumption 下，不同几何之间的区别容易被 norm-equivalence 吃掉；但在 bounded p-th central moment、p∈(1,2] 的 regime 中，错误的范数转换会导致更严重的 p-dependent 维度放大。因此，如果 Muon 真有理论优势，应该最先在 heavy-tailed native-geometry noise setting 中显现。

缺口是：缺少一个能在一般 Banach 空间中直接控制 momentum estimator 噪声的工具链。本文的技术路线就是补这个缺口，而不是发明新的优化器。

Core Idea

核心思想可以概括为：不要把 Muon 强行翻译成 Euclidean SGD 的变体，而是把它当作 Banach-space normalized steepest descent，并把随机梯度噪声也放在对应 dual norm 中分析。这样 stationarity、noise moment、descent direction 三者处于同一几何，而不是 stationarity 用核范数、噪声用 Frobenius、算法用 spectral norm 的混合体系。

理论上成立的关键是 Banach 空间的 martingale type / uniform smoothness。若 dual space 是 p-uniformly smooth，则 martingale difference 的 p-th moment 可以像 Hilbert 空间里控制方差那样被累加，只是常数由 uniform smoothness constant 决定。于是 momentum estimator 的误差可以直接在 ∥·∥* 中界住，得到 heavy-tailed optimal sample complexity。

Muon 本身是边界案例：S∞ 的 dual S1 不 uniformly smooth。作者没有因此退回 Frobenius，而是利用 S1 ≤ min{m,n}^{(p-1)/p} Sp，并利用 Schatten-p 的 p-uniform smoothness。这个中间几何是本文最重要的技术取舍：它解释了为什么 Muon 可以“自动适配”重尾指数对应的 Schatten-p 噪声结构，而不是支付 Euclidean worst-case rank penalty。

Method

1. 统一算法抽象：Nssd-M。它把 Muon、Signum、Schatten-r steepest descent 都写成 momentum gradient estimator 加 norm-ball LMO。这个抽象解决的是“不同 optimizer 是否可在同一几何语言下比较”的问题。核心变化是 stationarity measure 不再默认 Frobenius，而由 primal norm 的 dual 决定。

2. Native heavy-tail assumption。作者假设 E∥∇f(x,ξ)-∇F(x)∥*^p≤σ^p，而不是 Euclidean p-th moment。它解决的是旧分析中噪声范数不匹配的问题。代价是这个假设本身更强、更几何依赖；收益是避免无谓的 norm-equivalence blow-up。

3. Banach martingale deviation bound。论文用 p-uniform smoothness 控制 ∑ noise 的 dual norm moment，替代 Hilbert-space 方差展开。它是整个上界成立的核心机制。没有这一点，所有非欧氏优势都会在噪声控制处消失。

4. Momentum error decomposition。momentum estimator 的误差分成初始噪声、martingale 噪声累积和由于 x_t 变化导致的 deterministic drift。前者和中间项靠 Banach martingale 控制，后者靠 smoothness 控制。这部分不是新 optimizer insight，但它把已有 normalized-SGD heavy-tail 分析搬进 general norm setting。

5. Muon 的 Schatten-p bridge。因为 S1 不 uniformly smooth，作者用 Sp 作为中间范数，只付 S1/Sp 的 rank 因子。这个步骤解决的是 Muon 不满足主 theorem 条件的问题，也是维度依赖从 Euclidean 的 min{m,n}^{(3p-2)/(2(p-1))} 降到 min{m,n} 的来源。

6. Lower bound。通过构造需要逐个发现 diagonal sign 的 hard instance，以及高维嵌入 Euclidean nonconvex lower bound，证明核范数 stationarity 下 min{m,n}·ΔL/ε²·(σ/ε)^{p/(p-1)} 的依赖不可去掉。这一步很关键，因为它把“改进 bound”提升为“Muon 在该 stationarity 下 first-order optimal”。

Key Insight / Why It Works

最核心的 insight 是：Muon 的理论优势不是来自更快下降某个 Frobenius gradient norm，而是来自它优化时选择了更强的 stationarity geometry，并且在重尾噪声下这个 geometry 能更有效地组织随机误差。换言之，Muon 的收益不是“矩阵正交化神奇地降噪”，而是 spectral primal / nuclear dual 这套几何让算法在矩阵维度上按 rank-like complexity 付费。

真正有效的部分是 native geometry 的噪声控制。已有 Euclidean 分析的问题不是 rate 本身差，而是它们用错了噪声空间：如果目标是核范数 stationarity，却用 Frobenius 来控制 noise，再用 S1≤√rank·F 转换，复杂度必然多出维度因子。本文通过 Banach martingale type 把这一步拿掉，所以改进不是 engineering，而是分析坐标系改变带来的。

Muon 的“free heavy-tailed lunch”需要谨慎理解：free 不是没有维度代价，而是相对于 Euclidean stationarity-adjusted guarantee 没有额外 heavy-tail-induced rank blow-up。lower bound 说明核范数 stationarity 本身至少要付 min{m,n}。因此论文没有证明 Muon dimension-free；它证明的是 Euclidean 方法为同样 stationarity 付了不必要的额外维度税。

Schatten-p bridge 是另一个关键判断。它暗示 Muon 的 S∞ 几何可能并不是唯一最优几何，而是在计算上便宜地近似了一族更合适的 Schatten-r 几何。实验中 r 从 2 增大到 3/4/8 后明显改善并 plateau，支持“最佳几何与 tail index 匹配”的解释。这里的核心不是 spectral norm 本身，而是从 Euclidean geometry 移到更接近 heavy-tailed matrix noise 的 geometry。

可能只是辅助的部分：具体 momentum 参数、WSD schedule、Newton-Schulz implementation、70M LLM recipe 都不是理论主贡献。实验中的 perplexity gain 也不能完全归因于本文机制，因为 practical Muon 同时混合了 AdamW、weight decay、layer selection 和 approximate orthogonalization。增益来源在真实 LLM training 中仍不完全清楚。

Relation To Prior Work

这篇最接近三条线：Muon/Scion 的 general-norm steepest descent 理论、Euclidean heavy-tailed normalized SGD/SGDM、以及 Banach-space martingale type 工具。它的实质创新是把这三者拼在一起，并在 Muon 的核范数 stationarity 上做出 sharp dimension comparison。

和已有 Muon convergence work 的本质差异：旧工作多在 Frobenius bounded variance 或 Euclidean smoothness 下证明收敛，再通过 norm equivalence 解释 stationarity；本文把 noise assumption 和 stationarity 都放在 native dual norm 下，因此能区分“算法几何优势”和“范数转换损失”。这不是简单改常数，而是改变了比较基准。

和 Euclidean heavy-tailed optimization 的差异：rate 的 ε、σ 依赖并不是新发现，类似 optimal heavy-tail rate 已存在。新增信息是：这些 rate 可以在更强 dual norm stationarity 下保持，并且维度因子由 Banach geometry 决定。

和 concurrent work 的差异也很清楚：若 heavy-tail 和 smoothness 都写在 Frobenius 范数中，Muon 的 bound 不会优于 Euclidean stationarity-adjusted guarantee；本文坚持 native geometry，因此得到严格更好的维度依赖，并补了 lower bound。

看似新的部分中，Nssd-M + momentum decomposition 本身是已有思想重组；实质新增的是用 uniform smoothness/martingale type 处理 general-norm heavy-tailed noise，以及对 Muon 的 Schatten-p 中间几何和 matching lower bound。

Dataset / Evaluation

实验主要服务于理论 claim 的 plausibility，而不是决定性验证。任务是小规模 LLM pretraining：70M Pythia 架构、FineWeb-Edu、约 Chinchilla-optimal token budget。覆盖范围窄，没有多模型尺度、多数据域、多架构，也没有真实大规模 production Muon setting。

实验验证了两个相关但有限的问题：第一，实际训练中 S1 noise moment 相对 Frobenius 的 ratio 没有达到 worst-case √rank，这说明 native norm assumption 未必在实践中引入灾难性隐藏维度；第二，Schatten-r 几何 sweep 显示从 r=2 到更大 r 有收益并 plateau，与 p≈1.5 的理论直觉一致。

但 evaluation 没有完全验证核心理论命题。理论命题是 sample complexity under nuclear stationarity；实验衡量的是 final perplexity。两者之间关系间接。没有直接报告训练过程中 ∥∇F∥S1 stationarity 的下降，也没有系统估计 tail index 随层/时间变化。Schatten-r 实验还受 full SVD 成本、学习率调参、实现差异影响。

因此实验是 supportive evidence，不是 causality proof。它说明本文的几何解释与 LLM 训练现象相容，但不能排除 practical gain 主要来自 scaling recipe、early optimization dynamics、Newton-Schulz approximation 或 layerwise optimizer choice。

Limitation

最重要的隐含前提是 native dual-norm heavy-tail assumption。论文承认范数切换可能隐含维度依赖，并通过实验测 ratio 说明实际未达 worst-case；但这不是理论消除。若某些模型/层/训练阶段 σS1,p 本身随 rank 强烈增长，Muon 的理论优势会被重新吃掉。

第二，理论 Muon 是 idealized exact LMO：argmin over spectral norm ball 等价 polar factor。实际 Muon 用 Newton-Schulz 近似，且通常只作用于 hidden 2D weights，embedding/vector 参数交给 AdamW 或 sign-like geometry。理论没有完整覆盖这种 heterogeneous optimizer system。

第三，保证是 expectation。重尾设定下 high-probability bound 更关键，尤其实际训练关心 run-to-run stability 和 rare catastrophic updates。本文没有解决这一点。

第四，实验规模不足以支撑强 empirical claim。70M 单数据集不能说明 trillion-scale LLM 上同样机制主导。增益归因不清：Schatten geometry、normalization、momentum、weight decay、LR schedule、Newton-Schulz 近似都可能参与。

第五，stationarity measure 本身可能偏向 Muon。核范数 stationarity 是更强但也更贴合 Muon 几何的指标；它是否最能解释 downstream loss/perplexity 改善，文中未充分说明。理论最强结论是关于 first-order complexity under chosen stationarity，不是关于 generalization 或 final language modeling quality。

Takeaway

• 1. Muon 的一个合理理论解释是：它不是在 Euclidean geometry 中更聪明地做 SGD，而是在矩阵参数上选择了更合适的 Banach geometry，使重尾噪声的复杂度按 rank-like quantity 而非 Frobenius worst-case 付费。
• 2. 分析非欧氏优化器时，noise assumption 必须和 stationarity geometry 对齐；否则范数等价会把所有几何优势抹掉。
• 这一点可迁移到 Signum、Scion、layerwise norm-constrained optimizers 甚至更一般的 structured parameter spaces。
• 3. Schatten-r sweep 暗示未来优化器设计不应只在 Adam vs Muon 二分，而应按梯度噪声 tail index 和 layer structure 选择几何。

一句话总结

这篇论文把 Muon 的经验优势重新定位为 heavy-tailed stochastic optimization 中的 native Banach-geometry 优势，并证明其核范数 stationarity 复杂度在一阶意义下达到最优维度依赖。