精读笔记

Problem Setting

[Muown Implicitly Performs Angular Step-size Decay]（arXiv preprint / 2026）

这篇论文不是在提出一个全新的优化器族，而是在解释并重构 Muown 的稳定性来源。问题核心是：Muon 类方法能用 spectral-norm normalized update 控制每步 ΔW，但它控制的是矩阵扰动尺度，不是 scale-invariant 参数真正感受到的方向角速度；而 Transformer 中大量线性层的有效表征变化更接近由行方向旋转决定。

Muown 已经通过 row magnitude / direction 分解改善了 Muon 的不稳定性，但它把关键控制变量藏在未归一化方向 R 的 row norm 里。这个 norm 对前向函数是 gauge，不改变 W=Diag(g)U，却改变下一步对 U 的角位移。真正困难点不是“如何再加一个归一化”，而是如何把优化中真正有意义的 angular step-size 从无意义但动态影响巨大的 gauge norm 中抽离出来。

以前方法卡在两个层面：Muon 控制 update norm 但不控制 weight norm / angular dynamics；Muown 控制 row magnitude 但让 stored direction norm 自由漂移，导致稳定性依赖隐式退火。关键矛盾是：模型函数只依赖方向 U 和 magnitude g，但优化动态还依赖一个函数上不可见的 r=||R||，这使有效学习率不可解释、不可迁移、不可独立调度。

Motivation

已有路线不够的原因在于它们把“步长稳定性”误放在欧氏空间或参数范数上讨论，而对于 weight-normalized / scale-invariant 的行向量，真正的有效步长是球面上的 angular displacement。相同的欧氏 update 加到大范数向量上，只会产生小旋转；加到小范数向量上，则会产生大旋转。这不是普通正则化细节，而是优化动态的主变量。

作者的核心观察是：Muown 的未归一化方向 R 的 row norm 并不参与前向表达，只作为 gauge 存在；但 Muown 在 ambient space 更新 R，所以 r_t 会出现在 U 的有效更新分母中。随着 r_t 增长，角步长自然衰减。这解释了为什么 Muown 对大步长更稳，也解释了 weight decay 在 normalized networks 中常被观察到的“有效学习率调节”作用。

关键缺口是：如果 angular decay 是真正有用的机制，就不应该让它由一个无语义的 stored norm 自发产生。Muown 的成功提示了方向，但它仍然把 schedule、norm growth、radial update、weight decay 效应混在一起。AngularMuown 的动机就是把这个隐式控制变量变成显式可调的 κ_t。

Core Idea

核心思想是把 Muown 的内部参数化重新解释为 row-oblique manifold 上的方向优化：W=Diag(g)U，其中 U 的每一行在单位球面上，g 是 row magnitude。这样，方向更新不再被看作对未归一化 R 的 ambient update，而是对 U 的 Riemannian step；每一步真正改变特征的是 U_i 在球面上的旋转角。

在这个视角下，Muown 和 AngularMuown 的本质差异很清楚：Muown 的角步长近似为 η s ||O_i^⊥|| / r_i，退火来自 r_i 增长；AngularMuown 的角步长近似为 η κ_t s ||O_i^⊥||，退火来自显式 κ_t。前者依赖 gauge dynamics，后者直接对真实几何量建模。

这引入的 inductive bias 是：优化器应该直接控制“方向变化率”，而不是间接控制参数空间位移。它比 prior 更可能 scalable 的原因不是多了一个 schedule，而是把跨层、跨形状、跨训练 horizon 的有效步长对齐问题转化为 angular units 的 calibration 问题。尤其配合 spectral-condition shape scaling 后，κ_t 有了近似物理含义：同样的 multiplier 对不同矩阵形状产生相近的 per-row rotation。

Method

方法上真正必要的机制很少。

第一，显式 row-oblique parameterization。把 W 写成 Diag(g)U，U 行归一化，g 由 Adam 更新。这解决的是 Muown 中 R 的 gauge norm 影响优化但不影响函数的问题；核心变化是把函数自由度和优化 gauge 分开，删除无意义的 stored norm 动态。

第二，Riemannian directional gradient。方向梯度不是直接用 G，而是先去掉每行沿 U 的 radial component：grad_U≈Diag(g)(G-Diag(diag(GU^T))U)。这一步解决的是方向更新必须在切空间内的问题；否则更新会混入只会被 renormalization 抹掉、但会污染 orthogonalization 的径向分量。

第三，Muon-style spectral orthogonalization 仍保留。论文不是放弃 Muon，而是把 Muon 的 spectral steepest-descent bias 放到 manifold direction 上。它解决的是矩阵结构下更新方向的 conditioning 问题；核心变化是 spectral-normalized update 现在服务于 angular motion，而不是 ambient parameter displacement。

第四，显式 angular multiplier κ_t。它解决 Muown 中角步长由 r_t 被动决定的问题。κ_t 可以独立于 g 的 Adam update 和 base LR schedule 退火，因此 radial learning 与 angular learning 被解耦。

第五，shape scaling 使用 spectral-condition scaling 而非 RMS-matching scaling。它解决的是不同矩阵形状下同一 κ_t 对应不同旋转幅度的问题。这里不是普通调参，而是让 angular step-size 在层间具备可迁移尺度。

Key Insight / Why It Works

最核心贡献是把 Muown 的稳定性归因从“row norm control 有用”推进到“stored direction norm 在隐式衰减 angular step-size”。这个归因很有价值，因为它解释了一个否则很 engineering 的现象：为什么 Muown 能承受比 Muon 大得多的学习率。答案不是 Muown 神秘地更正则，而是它让真实方向的旋转随着无语义 norm 增长而变小。

方法有效的主要原因很可能是 better inductive bias + scaling，而不是新的优化理论本身。better inductive bias 在于直接优化 row direction，并用角位移作为真实 step-size；scaling 在于 κ_t 和 shape scaling 让学习率可迁移到更宽层和更大 LR regime。论文中提升最大的一部分可能来自允许更 aggressive 的 early angular motion，同时后期用 κ_t 抑制方向噪声。这本质上像一个作用在 representation direction 上的 curriculum：早期快速探索特征方向，后期降低旋转保持稳定。

理论部分支持的是理想化 directional AngularMuown 的非凸收敛，并不解释大模型 perplexity 提升的全部来源。它更像是为“normalized spectral direction + decay schedule”提供合理性，而不是证明实际算法优于 Muown。实际实现中 momentum 未做 parallel transport，orthogonalized update 也未严格投影到 tangent space，这些都说明有效性主要来自几何直觉和工程 scaling 的结合。

最可能是核心贡献的部分：Equation (5) 式的角步长对比，即 Muown 的 tan θ 多了 1/r_t，而 AngularMuown 用 κ_t 替代它。最可能只是辅助的部分：具体 inverse-polynomial schedule、PolarExpress/Newton-Schulz 细节、部分训练 recipe。增益来源不清的是：显式 κ_t、shape scaling、学习率搜索范围扩大、以及去除/改变 weight decay 之间的贡献没有完全分离。

Relation To Prior Work

这篇最接近的谱系是 Muon → NorMuon / Muown 这一类 matrix-aware optimizer，而不是一般 manifold optimization。它继承 Muon 的 spectral-norm steepest descent，继承 Muown 的 magnitude-direction 分解，但改变了对 direction variable 的解释：Muown 仍在 ambient R 上更新，AngularMuown 直接在 normalized U 上更新。

和 Muon 的本质差异：Muon 控制 ΔW 的谱范数，但没有控制 W 或 row direction 的角速度；AngularMuown 控制的是方向旋转。和 Muown 的本质差异：Muown 的 angular decay 是 r_t 增长的副作用，AngularMuown 把它变成显式 schedule。和 weight decay / rotational equilibrium 工作的关系：它们都认识到 norm 会调节 angular step-size，但那些工作多是通过 norm equilibrium 间接稳定角速度；这里直接把角速度作为 optimizer knob。

看似新的部分中，magnitude-direction decomposition 本身不是新东西，weight normalization 和 Muown 已经有；row normalization / sphere projection 也不是新东西。实质创新在于把 Muown 的 stored norm 识别为 angular LR scheduler，并给出 Riemannian + spectral update 的统一解释，再用 κ_t 替代这个隐式 scheduler。

与 concurrent decoupling magnitude/direction 工作相比，差异在几何和控制变量：AngularMuown 强调 row-wise Riemannian gradient、Muon orthogonalization、显式 angular multiplier；不是简单“把方向投回球面”。真正新增的信息是：优化器性能提升可以来自对 angular step-size 的显式调度，而不是仅仅来自固定方向范数。

Dataset / Evaluation

实验覆盖了 PlainLM/nanoGPT-style 124M、Qwen2-0.5B，以及 1.1B total / 370M active 的 DeepSeek-V3-style MoE，数据主要是 FineWeb-Edu。覆盖范围对于验证“LM pretraining 中该机制有效”是足够有说服力的，尤其 MoE 结果说明不是只在小型 dense toy setting 上成立。

但 evaluation 仍然集中在语言模型预训练，且规模属于中等区间。它没有验证视觉、多模态、RL、finetuning、long-context 或不同 normalization architecture 下的泛化。所谓 scales beyond small models 是合理但有限的说法，不能外推到 100B+。

角位移曲线是论文中最强的 evidence，因为它直接验证机制 claim：不同 optimizer 的 θ dynamics 符合作者提出的三种 regime。loss 曲线证明方法有用，但不是纯机制证明；其中混入了学习率可用范围、schedule、shape scaling 和 recipe 交互。

benchmark 没有明显 leakage 问题，因为这是 optimizer/pretraining 评估，不是知识测试。但存在 evaluation bias：所有设置都围绕 Muon/Muown 擅长的 2D dense matrix-heavy Transformer pretraining 展开；如果换成非矩阵主导或 normalization 结构不同的模型，claim 可能明显变弱。

Limitation

第一，方法依赖“row direction 是自然优化单位”这一前提。对 Transformer 线性层这很 plausible，但并非普适。某些层的有效几何可能更接近 column-wise、block-wise、head-wise 或 full-matrix 结构；固定 row-oblique manifold 可能只是当前架构上的好归纳偏置。

第二，AngularMuown 把问题从隐式 r_t 调度转移到显式 κ_t 设计。论文给出 c=0.001,p=1 的经验默认值，但没有充分说明为什么该 schedule 应该跨任务、跨 scale 最优。文中未充分说明 κ_t 的理论形式与实际最优 schedule 之间的关系。

第三，增益归因不完全清晰。AngularMuown 相比 Muown 不只是替换 implicit decay，还改变了方向变量维护方式、shape scaling、学习率区间和某些 weight decay 处理。部分提升可能主要来自 scaling / hyperparameter regime，而不是 manifold formulation 本身。

第四，理论保证和实际算法有距离。证明针对 idealized tangent-space-aware update，实际算法使用 ambient momentum、不严格 parallel transport，也可能不完全 tangent-projected orthogonalization。理论更像 sanity check，不应被解读为解释 empirical speedup。

第五，超大规模上限未知。中等规模 LM 的 angular decay 最优，不代表 100B+、更长 horizon、更强数据 curriculum 下仍然最优。随着 batch、depth、normalization、optimizer state sharding 和 numerical constraints 改变，显式 angular control 可能遇到新的稳定性边界。

Takeaway

• 1. Muown 的关键不是简单 row-norm control，而是它无意中实现了 angular step-size decay；这个解释比“重参数化更稳”更可迁移。
• 2. 对 scale-invariant / normalized 权重，optimizer 应该优先控制方向角速度，而不是欧氏参数步长；这是可以迁移到其他 optimizer、其他 manifold parameterization 的 insight。
• 3. 显式 angular schedule 可能成为 matrix-aware optimizer 的下一层抽象：Muon 提供方向 preconditioning，AngularMuown 提供方向步长控制，radial magnitude 交给 Adam 类方法。
• 4. 未来真正值得做的是系统分离 κ_t、shape scaling、radial optimizer、weight decay 和 orthogonalization 的贡献，并研究 angular schedule 的 scaling law，而不是继续堆 speedrun recipe。

一句话总结

这篇论文把 Muown 从一个经验有效的 row-normalized Muon 变成了“显式控制方向角步长”的几何优化器，真正贡献是识别并外显了 Muown 中由 stored norm 隐式实现的 angular learning-rate decay。