精读笔记

Problem Setting

论文题目：Convergence of Spectral Descent for Non-smooth Optimization（arXiv preprint / 2026）。

这篇论文不是在解释完整 Muon，也不是在证明 LLM training 中的 Muon 收敛；它实际处理的是 momentum-free Muon，即 Spectral Descent，在非光滑凸优化中的收敛机制。目标函数被限制在 convex、Lipschitz continuous、sharp 的类别中，典型包括 LAD、hinge、LP、某些 robust recovery formulation。

真正困难点是：matrix sign 更新会丢掉梯度奇异值，只保留奇异方向。在 smooth optimization 中还可以借助 descent lemma 控制函数值变化；非光滑情形没有这个工具，任意 subgradient 的 sign direction 甚至可能振荡。因此关键矛盾是：spectral normalization 提供了尺度无关/条件数无关的方向，但也破坏了传统基于梯度大小的下降分析。论文的核心工作就是证明：在 sharp landscape 中，只要 residual 与 subgradient 奇异方向足够对齐，spectral sign 仍然能产生全局 contraction。

Motivation

已有 Muon 理论路线主要依赖 smoothness 或特定结构模型，不能解释非光滑任务上的经验表现。对 Muon 这类方法来说，最重要的现象不是“梯度下降收敛”，而是“把梯度正交化/极分解之后为什么仍是好方向”。非光滑问题中这个问题更尖锐，因为 subgradient set 本身可能多值，直接 sign 化会放大方向选择的不稳定性。

作者的核心观察是：sharpness 可以替代 smoothness 提供优化几何。sharpness 给出 f(X)-f* ≥ μ dist(X,X*)，convexity 给出 <G, X-X*> ≥ f(X)-f*，Lipschitz 给出 ||G||≤L。于是可以把问题转化为一个纯几何问题：在已知 <G,R> 足够大、||G|| 有界的情况下，能否下界 <msgn(G),R>。这就是全文最关键的理论缺口。

Core Idea

论文真正的核心不是提出一个复杂优化器，而是把 Spectral Descent 的下降性归结为“subgradient singular directions 与 residual 的 rank-dependent alignment”。设 G=UΣV^T，SD 用 UV^T 更新。由于 ||UV^T||_F^2=rank(G)，一步距离递推为 Δ_{t+1}^2 ≤ Δ_t^2 + η_t^2 r_t - 2η_t <R_t, UV^T>。所有难点集中在下界最后一项。

作者证明，在 convex + Lipschitz + sharpness 下，<R,msgn(G)> 至少为 (κ - sqrt(r-1)sqrt(1-κ^2))||R||。这给出 rank-dependent descent：rank 越小，worst-case 对齐越好；rank 越大，理论条件越苛刻。TSD 则通过只取 top-s 奇异方向改变这个几何下界，使 truncation 不只是计算加速，而是改变最坏情形对齐结构。

本质区别在于，prior 多数把 Muon/SD 当作 smooth setting 下的 preconditioned gradient 或 orthogonalized gradient；这篇把它当作非光滑 sharp geometry 中的 steepest descent，并显式分析 sign operator 对 residual projection 的影响。

Method

SD 部分：选择任意非零 subgradient G∈∂f(X)，更新 X←X-η msgn(G)。其必要性在于隔离 Muon 的核心正交化机制，去掉 momentum 和 stochasticity。理论上它将梯度谱压平成全 1，使更新范数只等于 sqrt(rank(G))，从而得到 rank-dependent recursion。

TSD 部分：更新方向改为 top-s truncated matrix sign。它解决 full matrix sign 的计算成本，同时引入 Ky Fan s-norm steepest descent 结构。理论上它的下降常数依赖 s 和 r 的组合，而不是简单依赖 full rank；在某些 worst-case 条件下，s≈sqrt(r) 可放松 κ threshold。

RSD-WD / RTSD-WD 部分：加入 decoupled weight decay 后，作者不是按普通正则化分析，而是把更新等价成约束集上的 conditional subgradient / Frank-Wolfe step。RSD-WD 对应谱范数球，RTSD-WD 对应谱范数 + 核范数约束。这个转换的核心作用是保证轨迹有界并绕开标准 SD 的强 alignment 条件。

neighborhood subgradient selection：作者从 T(X,ε)=conv(∪_{u∈N(X,ε)}∂f(u)) 中选择一个 KKT-compatible subgradient。它解决非光滑点附近任意 subgradient 可能导致震荡的问题，本质是空间平滑。但这也是最不像实际 Muon 的部分，理论意义大于工程可操作性。

Key Insight / Why It Works

最核心贡献是 Lemma A.1/A.2 类型的几何下界：从 <G,R>≥μ||R|| 和 ||G||≤L 推出 <msgn(G),R> 的 worst-case lower bound。这一步把非光滑优化问题变成有限维向量几何问题：奇异值 σ 与 residual 在奇异基下的坐标 x 满足 σ^T x ≥ μR、||σ||≤L、||x||≤R，问 sum x_i 最坏能有多小。这个 reduction 是全文最有迁移价值的 insight。

为什么 SD 可能有效：它不是因为更好估计梯度大小，而是因为它删除了梯度谱中的幅值信息，强制每个活跃 singular mode 以同等步长推进。这在梯度谱病态时可能是强 preconditioner；但在非光滑理论里，是否有效完全取决于 singular directions 是否与 residual 对齐。也就是说，真正的核心变量不是 gradient norm，而是 alignment。

TSD 的意义也不只是省 SVD。全 rank msgn 会把所有活跃奇异方向都纳入更新，其中一些方向可能对 residual 投影为负；truncation 有机会避开尾部方向带来的 adversarial projection。因此 TSD 的理论改善来自“减少可能错误推进的方向”，而不是简单 low-rank approximation。

weight decay 部分的 insight 是另一条线：decoupled weight decay 在 momentum-free spectral update 中隐式产生 constrained FW dynamics。这个解释很有价值，因为它说明 MuonW 的稳定性可能来自“轨迹被约束在谱范数/核范数球内”，而不是来自更快下降。这里的增益更像 stability / implicit constraint，而不是 acceleration。

需要直接指出：论文对 LLM/Muon 经验成功的解释仍然很弱。没有 momentum、没有 stochastic gradient、没有 adaptive schedule、没有 transformer 非凸结构。ReLU 小网络实验只是现象展示，不能证明理论机制就是 LLM 中 Muon 的主因。LLM 中的实际增益可能主要来自工程 scaling、层级归一化效果、隐式谱约束、学习率鲁棒性，而文中未充分说明。

Relation To Prior Work

这篇属于 Spectral Descent / Muon 理论谱系，但更接近 nonsmooth sharp optimization 和 Frank-Wolfe 理论的交叉，而不是常规 adaptive optimizer 分析。

与 Shen et al., Li & Hong 等 smooth Muon 分析相比，本质差异是不用 Lipschitz gradient，而用 Lipschitz function + sharpness；证明对象从函数下降变成距离到解集的几何收缩。与 Ma et al. 关于 spectral orthogonalization 作为 preconditioner 的工作相比，这里不依赖特定 matrix factorization / ICL 结构，而是给一般 convex nonsmooth 条件下的 sufficient condition。

与传统 projected subgradient / sharp weakly convex optimization 相比，新信息在于 matrix sign 方向的 rank-dependent descent bound。传统 sharp subgradient 方法通常分析 normalized subgradient 或 projected subgradient；这里把 normalized direction 换成 spectral sign，导致 rank 和 singular subspace geometry 成为主角。

与 Frank-Wolfe / Conditional Subgradient 的关系：带 weight decay 部分本质上是已有 FW 思想在 spectral/Ky Fan norm 约束下的重组。实质创新不是 FW 收敛率，而是指出 decoupled weight decay 的 spectral update 可以被重写为 FW dynamics，并用这个解释其稳定性。

与 robust low-rank recovery/IHT 工作相比，本文的 LAD recovery 部分更多是理论实例化。它用核范数球 + RTSD-WD 避免每步 hard thresholding/full SVD；但 recovery 条件、RIP、outlier bound 等主要沿用既有 robust recovery 技术。

Dataset / Evaluation

实验覆盖四类：小规模 ReLU 网络、robust low-rank matrix recovery、线性规划/LAD、matrix hinge classification。覆盖面足以说明这些算法在非光滑问题上有一致经验行为，但不足以支撑对真实 Muon/LLM 训练机制的强 claim。

LP 和 matrix classification 实验最贴近理论假设：polyhedral convex + sharp，能较好验证 SD/TSD 在 sharp nonsmooth landscape 中快速下降。尤其 alignment 曲线显示即使理论 κ 条件不满足，实际 alignment 仍为正，这反而说明理论 bound 保守。

low-rank recovery 实验验证 RTSD-WD 在混合噪声下能收敛到噪声地板，也支持 s=1 的计算优势。但这里实现使用 surrogate subgradient set，理论算法与实现之间有替换；作者有说明，但这意味着实验并非严格验证原始 RTSD-WD。

ReLU 网络实验是最弱的一环：它展示 Muon/SD 比 GD/Adam 更快、更鲁棒，但模型和数据都很小，且与理论假设不匹配。它更像 motivation，不是 evidence for theorem。没有真实 LLM、没有大规模 stochastic setting、没有 momentum ablation 的系统理论对齐。

Limitation

第一，标准 SD/TSD 的线性收敛依赖很强的 worst-case condition parameter。κ=μ/L 必须大于接近 1 的阈值，full-rank 情形尤其苛刻。这不是小技术条件，而是定理可用性的核心瓶颈。作者承认该 bound tight，但 tightness 来自 adversarial 几何；实际问题中可能过于悲观。

第二，sharpness 是强结构假设。它适合 polyhedral/LAD/nuclear norm recovery，但不自然覆盖一般 deep networks。论文用 ReLU 实验暗示相关性，但没有建立非凸非光滑 sharpness 或 error bound。

第三，Muon 被简化为 momentum-free SD。实际 Muon 的 momentum、Newton-Schulz 近似、layer-wise scaling、stochastic mini-batch noise、weight decay schedule 都不在主定理内。因此这篇解释的是 Muon 的一个核心算子，而不是完整 Muon optimizer。

第四，weight decay 理论牺牲了线性收敛，得到 O(1/sqrt(T)) 距离率。这个部分更像稳定性解释，不是加速解释。若实际 MuonW 在 LLM 中加速，本文 FW 解释还不能说明加速来源。

第五，regularized algorithms 的 neighborhood-based subgradient selection 计算上并不自然，实际实验还用 surrogate。理论把问题转移到了“如何选择稳定 subgradient / 解局部 min-max 子问题”，这可能在一般任务中不可行。

第六，low-rank recovery 部分依赖已知核范数半径 R、Gaussian RIP、outlier support independence、稀疏噪声比例限制等。它证明了一个干净模型，不等于真实鲁棒矩阵恢复场景的普适保证。

Takeaway

• 1. 最值得记住的是：Spectral Descent 在非光滑 sharp convex 问题中的核心变量是 residual 与 matrix-sign direction 的 alignment，而不是 gradient norm。
• 这个视角可以迁移到其他 normalized / sign-based optimizer 分析。
• 2. rank 是 spectral sign 优化的理论复杂度参数。
• subgradient rank 小时，SD 的 worst-case descent 更强；TSD 通过控制使用的 singular directions，既省计算也可能改善几何条件。

一句话总结

这篇论文把 momentum-free Muon/Spectral Descent 的非光滑收敛问题归结为 sharp landscape 中的 singular-subspace alignment，并给出 rank-dependent 线性收敛与 weight-decay-as-Frank-Wolfe 的理论解释，是 Muon 理论从 smooth preconditioning 走向 nonsmooth geometry 的一步，但还远未解释真实大规模 Muon 训练。