精读笔记
Problem Setting
这篇论文实际处理的是 Muon/Gluon 类 LMO optimizer 的一个理论接口失配：算法中 search direction 不是 exact LMO，而是由矩阵符号/极分解迭代近似得到；现有收敛分析要么假设 exact LMO，要么要求近似方向与某个 exact solution 的距离小于 δ<1。但在谱范数 LMO 中，rank-deficient 时 exact solution 非唯一；当 rescaled momentum 的最小正奇异值趋近 0 时，Newton-Schulz/Polar Express 对小奇异方向无法保证有效逼近，旧 δ 条件自然退化。真正困难点不是写出另一个 descent lemma，而是定义一个既符合实际 polar/sign solver 行为、又足以支撑优化下降的 inexact oracle 条件。关键矛盾是：优化只需要足够负的线性目标值，但旧理论要求在整个解集合意义上逼近 exact direction，这在退化谱结构下过强且不稳定。
Motivation
已有 inexact Muon 分析的缺口在于非退化假设：需要 rescaled momentum 的最小正奇异值有正下界，从而保证近似 LMO 误差 δ 严格小于 1。这个假设在训练后期和病态谱矩阵上都很脆弱：momentum norm 会趋零，Frobenius rescaling 加 epsilon_ns 会压低全部奇异值；条件数大时，小奇异值本来就无法被低迭代 sign solver 可靠恢复。作者的核心观察是，小奇异值方向未被精确恢复并不必然破坏优化，因为这些方向对 <M,D> 的贡献也小；更应关注大谱质量部分是否贡献下降。因此本文的动机是用一个“优化目标相关”的 oracle 误差模型替换“解距离相关”的误差模型，并把小动量区域显式吸收到最终误差项中。
Core Idea
核心思想是重新定义 inexact LMO 的 contract：方向范数可控，且在 momentum/gradient 足够大时，inexact direction 在 LMO 线性目标上达到 exact optimum 的固定比例；如果 momentum/gradient 已经小于 epsilon_1，则不强求下降，只承认已经进入一个由 epsilon_1 控制的近驻点区域。这样，退化不再意味着 oracle 完全失败，而是被解释为“剩余可利用下降信号本身很小”。
与 prior 的本质差异是，prior 把 approximation quality 绑定到 exact LMO solution 的几何邻域；本文绑定到 support function / dual norm 的下降质量。对于谱范数 LMO，这等价于不必恢复所有奇异方向，只要恢复承载主要 nuclear norm mass 的大奇异值方向即可。这个建模方式更 scalable，因为它允许 iterative polar solver 忽略小谱尾部；也更 generalizable，因为它不依赖 exact solution 的唯一性，而依赖优化中真正进入 descent bound 的量。
Method
方法的关键机制有三层。第一层是 Assumption 2.1/2.2：用 ||\hat D||≤1+δ 控制步长膨胀，用 <M,\hat D>≤-(1-δ)||M||_* 控制下降；当 ||M||_*≤epsilon_1 时，允许 oracle 只满足弱条件或非上升条件。这解决的是旧加性误差在退化和非唯一解下不可用的问题，核心变化是误差从 direction-space 转到 objective-space。
第二层是谱截断式论证：把奇异值分成大于 c σ_1/r 的主谱部分和小谱尾部。只要迭代算法在主谱部分近似到 \tildeδ，小谱尾部即使近似差，也因为总质量被 c σ_1 控制，不会毁掉整体 nuclear norm 下降。这里的必要性在于把 iterative solver 的 lower singular bound 要求从全谱下界变成主谱下界。
第三层是把该 oracle contract 嵌入 Gluon 的 layer-wise (L0,L1)-smooth 分析。随机情形处理 momentum-gradient mismatch，确定性情形给出自适应步长下降，PŁ 条件给线性收敛，star-convex 情形通过 weight decay 保证 boundedness 并改善 rate。这些是理论外延，核心作用是证明新 oracle 假设可在多个常见分析框架中闭合。
Key Insight / Why It Works
最重要的 insight 是：Muon-type 方法的理论下降不需要“正确的 orthogonal matrix”，只需要一个在当前 momentum 上有足够负 inner product 的 direction。矩阵 sign 的小奇异方向在几何上可能导致巨大相对误差，但在 LMO objective 中权重正是这些奇异值本身；因此小奇异值方向错了，对下降量的影响天然小。这就是本文能绕开 degeneracy 的根本原因。
最可能的核心贡献是 Assumption 2.1/2.2 这类 objective-fidelity oracle，而不是后面多个 theorem 的 rate 本身。后续收敛率大多是把 epsilon_1 和 δ 代入已有 Gluon descent 模板；真正改变问题结构的是“退化时不追求 exact sign，而追求 sufficient decrease”。
哪些是辅助：Polar Express 的迭代次数关系、低精度奇异值例子、star-convex/weight decay 扩展都在增强故事完整性，但不是方法成立的核心。低精度例子说明非退化假设不可靠，但没有证明真实训练中频繁发生；star-convex rate 更像展示新假设可兼容 Kovalev-style 分析，而不是解释 Muon 实际优势。
这篇论文本质上不是 scaling、retrieval、data coverage 或 representation alignment，而是 optimization theory 中 oracle abstraction 的修正。它没有证明 Muon 的 empirical gain 来自更好的 inductive bias；它证明的是，在已有 Muon/Gluon 机制下，近似正交化即使在退化谱情况下也不会理论上崩掉，只要主谱方向提供足够 descent。换句话说，它把一个 numerical linear algebra failure mode 重新解释成可控的 optimization error floor。
Relation To Prior Work
最接近的是 Shulgin et al. 2025 的 inexact Muon 分析、Riabinin et al. 的 Gluon layer-wise (L0,L1)-smooth 框架、Pethick et al. 的 LMO-based optimizer formulation，以及 Amsel et al. 的 Polar Express / matrix sign solver。本文不是重新发明 Muon，也不是提出新的 LMO optimizer；它属于 LMO-based Muon 理论谱系中对 inexact oracle 的 robustness extension。
相对 Shulgin et al.，真正差异是误差模型：从 ||\hat D-D||≤δ 改为 objective decrease + norm control + small-momentum exception。这个变化实质性更强，因为它解决了 exact solution 非唯一和最小奇异值趋零的问题。相对 Gluon，算法层面几乎没有新机制，主要是把 Gluon 的收敛证明推广到 inexact LMO 和退化 oracle。相对 Polar Express/Amsel，本文不改 solver，而是把 solver 在低奇异值上不可避免的不精确纳入优化理论。
看似新的部分包括多个 setting 下的 rate，但很多是已有 descent proof 的重新组织；实质创新集中在如何把 iterative LMO solver 的谱精度要求转译为优化可接受的下降条件，以及如何显式引入 epsilon_1 作为退化区域的误差地板。
Dataset / Evaluation
这篇论文没有常规意义上的 dataset / benchmark evaluation。所谓 evaluation 主要是 Appendix A 中构造矩阵在 float32/float16/bfloat16 downcast 后的小奇异值实验，用来说明“低精度会自动抬高小奇异值到机器精度以上”这个说法不可靠。这个实验支持的是 motivation：非退化奇异值下界不能被轻易假设；但它并没有验证真实 Muon/Gluon 训练中 momentum spectrum 的分布，也没有验证实际训练 loss/accuracy 是否受该退化分析约束。
因此，论文的核心 claim 是理论 claim，而不是 empirical performance claim。理论证明充分支撑“在新 oracle 假设下收敛”，但不充分支撑“实际 solver 在真实 LLM training 中满足这些假设”。缺少真实模型、真实层谱统计、真实低精度训练路径上的 oracle fidelity 测量，是 evaluation 的主要空白。
Limitation
第一，核心假设仍需要外部保证。Assumption 2.1/2.2 比旧假设合理，但实际实现中如何在线确认 <M,\hat D>≤-(1-δ)||M||_* 并不清楚；计算这个条件本身可能接近需要知道 nuclear norm 或谱信息。文中未充分说明如何把它变成 practical stopping criterion。
第二，epsilon_1 是把问题转移成误差地板的关键参数。若 epsilon_1 太小，solver 需要在很小奇异值上工作，退化问题回来；若 epsilon_1 太大，收敛结果只保证到粗邻域。理论上这是可调 trade-off，实践中如何设定没有充分解释。
第三，常数和 rank dependence 可能很差。Proposition B.1 中 lower bound l 随 r、epsilon_ns 和 epsilon_1 恶化；大矩阵层中 rank 很高时，所需迭代次数或 δ 常数可能不理想。论文给出的是可收敛性，不是 tight practical complexity。
第四，star-convex、PŁ、layer-wise (L0,L1)-smooth 都是分析假设，不能直接说明深网真实 loss 满足。PŁ 下线性收敛是有意义的理论加强，但不应被解读为 Muon 在 LLM 训练中具有线性收敛机制。
第五，增益归因不清：本文没有展示新假设带来实际 optimizer 改进，也没有区分 Muon/Gluon 的优势来自正交化、layer-wise norm、step-size scaling、训练 recipe 还是模型/数据规模。这里没有 benchmark leakage 或 data coverage 问题，因为没有 empirical benchmark；但也正因为如此，它不回答 empirical Muon 为什么好。
Takeaway
- 最值得记住的不是某个 rate，而是 oracle 建模方式：在退化、非唯一、近似求解的 LMO 中，用 objective fidelity 比用 solution distance 更自然。
- 这个 insight 可以迁移到其他 Frank-Wolfe / norm-constrained / non-Euclidean optimizer 的 inexact oracle 分析。
- 第二，Muon 的 approximate orthogonalization 不必在全谱上准确；主谱质量决定下降，小谱尾部更多影响误差地板。
- 这为低迭代、低精度 matrix sign solver 的理论合理性提供了一个清晰解释。
一句话总结
这篇论文在 Muon/Gluon 理论谱系中的位置是：把 inexact LMO 从“接近 exact 解”的非退化分析推进到“保证足够线性下降”的退化鲁棒分析，真正贡献是重定义近似 oracle 的优化语义，而不是提出新的训练算法。