精读笔记

Problem Setting

《Anytime Training with Schedule-Free Spectral Optimization》（arXiv preprint / 2026）处理的是预训练优化里的一个很实际但经常被 schedule 掩盖的问题：训练 horizon 不确定时，如何让任意中间 checkpoint 都接近“为该 token budget 专门调过 LR schedule”的结果。

关键矛盾是：cosine decay 等 schedule 把优化路径绑定到预设终点。同样 token 数下，一个为长 horizon 设计的 run 仍处在高 LR 阶段，而短 horizon run 已经 anneal，二者 checkpoint 质量不同。这不是简单的 early stopping 问题，而是 path dependence 问题。

已有 schedule-free 方法用 averaging 返回 X，避免显式 schedule，但 SF-AdamW 的问题是“anytime 但不够强”：它牺牲了一部分 tuned AdamW 的性能。论文真正想解决的是：能否在不指定 horizon 的情况下，把 anytime optimizer 的性能拉到 tuned AdamW 级别，同时不引入新的长 horizon 不稳定性。

Motivation

作者的动机不是“再发明一个 optimizer”，而是指出 SF 方法的瓶颈不在 averaging 机制，而在 base optimizer geometry 和 fast iterate stability。

SF 框架中，X 的 effective LR 随 averaging 递减，但 Z 仍然以常步长运动。也就是说，schedule-free 只保证返回点有隐式 decay，不保证产生这些平均样本的 fast trajectory 长期健康。短 horizon 下这个问题不明显，长 horizon 下 Z 的漂移会污染 X。

另一个观察是 AdamW 把矩阵权重摊平成向量，忽略了权重作为 linear operator 对 activation 的作用。Muon/NorMuon 一类 spectral optimizer 已显示出在 LLM 训练中的优势，因此自然的问题是：如果 SF 的 base update 换成 spectral steepest descent，是否能补上 SF-AdamW 相对 tuned AdamW 的性能缺口？

这篇论文的关键缺口定位比较准确：schedule-free 解决了 horizon 依赖，但没有解决“每一步更新是否是适合神经网络矩阵结构的更新”；spectral optimizer 解决了矩阵几何，但仍依赖 schedule。SF-NorMuon就是这两条线的合流。

Core Idea

核心思想是：用 schedule-free averaging 负责 anytime，用 spectral geometry 负责优化效率，用 Z 上的 weight decay 负责长程稳定。

更具体地说，SF-NorMuon 保留 SF 的三序列结构：Y 是梯度评估点，Z 是 fast iterate，X 是返回/评估点。改变的是 Z 的运动方式：不再用 AdamW 的坐标归一化更新，而是对 momentum gradient 取 polar factor，相当于在 spectral norm 约束下做 steepest descent。这样做的 inductive bias 是把每个权重矩阵看成作用在 activation 上的 operator，控制的是 operator perturbation，而不是 parameter vector 的逐坐标扰动。

这和 prior 的本质区别在于，它不是简单把 Muon 加一个 moving average，也不是简单把 SF-AdamW 换个预条件器。它把 schedule-free dynamics 中最危险也最重要的 fast sequence Z 重新定义为 spectral optimizer 的主体，并认识到 Z 必须被直接收缩。这个点很关键：如果 decay 仍放在 Y，理论上更像 L2 regularization，但对实际 SF dynamics 的稳定性是不够的。

Method

方法上值得保留的机制只有几项。

1. Spectral fast update：Z 使用 polar(momentum) 方向更新。它解决的是 SF-AdamW base geometry 弱的问题。AdamW 的 element-wise adaptation 对矩阵 singular structure 不敏感，而 polar update 等幅推进所有梯度奇异方向，理论上能在 flat directions 中更积极地提取信号。

2. 显式 momentum：这是 spectral update 的必要配套，而非普通 optimizer ornament。polar 会把奇异值归一化，如果直接对 noisy minibatch gradient 做 polar，噪声方向也会被提升到同等幅度。momentum 先稳定 singular subspace，再做 polar，因此 ablation 中去掉 momentum 退化明显。

3. Weight decay at Z：这是本文最有价值的机制判断。SF 中 X 的 effective step size 递减，但 Z 没有递减；长 horizon 下如果 Z 无约束漂移，X 作为历史平均也会被污染。decay@Z 把 weight decay 从“泛化正则项”变成“fast dynamics 稳定项”。论文给出有界性证明和 quasi-steady-state norm 解释，这比单纯经验 ablation 更有说服力。

4. Row-wise normalization：借鉴 NorMuon 的 per-neuron normalization，处理 polar update 在不同行/神经元上的尺度差异。它提升效率，但从结果看更像稳定与尺度匹配的 engineering refinement，不是核心理论贡献。

Key Insight / Why It Works

最重要的 insight 是：schedule-free 方法的有效性不能只看 returned iterate X 的隐式 LR decay，还必须看生成 X 的 fast iterate Z 是否长期稳定。传统 SF 理论在凸问题里不需要 regularization，但 LLM training 中 Z 是一个常步长、噪声驱动、非凸、带强归一化更新的过程；如果不直接约束 Z，平均本身不能救场。

第二个 insight 是 spectral geometry 与 schedule-free averaging 是互补的。SF-AdamW 的落后说明“没有 schedule”并不自动产生强优化器；它只是避免 horizon tuning。要让 anytime checkpoint 高质量，Z 序列本身每一步必须足够有效。polar update 把矩阵权重的 functional geometry 带进来，可能使单位 token 下的 loss 降得更快，因此同样的 averaging 机制返回更好的 X。

我认为本文真正核心贡献是 decay@Z 的动态系统视角，而不只是 SF + NorMuon 的组合。SF + spectral optimizer 的组合在 hindsight 上很自然；但指出 weight decay location 从 regularization 问题变成 stability 问题，并用 steady-state norm 解释，是更可迁移的部分。

哪些可能只是 engineering / scaling？row-wise normalization、0.2 RMS scaling、warmup、Newton-Schulz polar 近似、1D 参数继续用 SF-AdamW，这些都是让方法在 LLM recipe 里跑好的必要工程，但不是概念突破。实验增益也部分继承自 NorMuon 已知优于 AdamW 的趋势；因此“SF-NorMuon 缩小 SF-AdamW gap”不应全部归功于 schedule-free 设计，base optimizer upgrade 本身贡献很大。

这不是 retrieval、memory reuse、test-time compute 或 data coverage 类方法；本质是 better optimizer geometry + fast dynamics stabilization。所谓 anytime 能力不是模型学会了持续适应，而是优化轨迹被设计成任意 prefix 都比较可用。

Relation To Prior Work

这篇论文位于三条技术谱系的交点：Schedule-Free / weight averaging、Muon/NorMuon spectral optimization、long-horizon optimizer stability。

和 SF-AdamW 相比，真正差异不是三序列结构，而是 base update 的几何和 decay 位置。SF-AdamW 仍是 coordinate-wise adaptive optimizer，只是在返回点上做 averaging；SF-NorMuon 把矩阵 operator geometry 放进 Z dynamics，因此优化 inductive bias 改了。

和 Muon/NorMuon 相比，差异是去掉 horizon-dependent LR schedule，用 SF averaging 返回 anytime checkpoint。但从实验看，SF-NorMuon 仍略落后 scheduled NorMuon，说明 schedule-free averaging 还没有完全替代末端 cooldown 的作用。

和 Polyak averaging / constant LR + weight averaging 的关系也很近：SF 本质上是更结构化的在线平均。本文的新东西不是 averaging，而是指出当 base optimizer 是 aggressive spectral update 时，fast iterate 的稳定性必须单独处理。

理论部分和现有 Muon convergence work 类似，给出非凸 stationarity 的 O~(T^-1/4) rate；它的意义主要是证明 schedule-free spectral dynamics 没有明显理论不一致，而不是解释 LLM 实验全部增益。实质创新更偏机制诊断和系统组合，而非全新优化理论。

Dataset / Evaluation

实验集中在 autoregressive LM pretraining：LLaMA-2-style 125M 和 772M，在 FineWeb-100B 上按 Chinchilla horizon 训练。这个设置足以验证论文最直接的 claim：在标准 dense decoder-only LM 预训练中，SF-NorMuon 是否能比 SF-AdamW 更接近 tuned AdamW，并在多个 stopping horizon 上保持可用。

评估设计有一个优点：AdamW baseline 对 horizon 调 schedule，而 SF 方法只用一套 hyperparameter，这正好对应 anytime claim。长 horizon decay location 的对比也直接验证了 stability 论点。

但 evaluation 不能支撑更大的叙事：它没有真正测试 continual learning，没有分布漂移、多阶段数据、online data arrival，也没有任务迁移或 downstream evaluation。所谓 open-ended / continual learning 仍只是 optimization motivation，不是实验结论。

另外，场景覆盖偏窄：单一数据集、单一架构族、两个模型尺度，且 772M 没有 8x horizon。对“schedule-free spectral optimization 普遍优于 SF-AdamW”的 claim 是初步支持；对“实践上解决 horizon-free training”的 claim 还需要更大规模和更多训练 recipe 验证。

Limitation

方法成立依赖几个隐含前提。

第一，模型参数主要是二维矩阵，且 spectral geometry 对这些矩阵的 functional role 有益。如果任务或架构中 embedding、norm、routing、卷积、小矩阵占比很大，收益可能下降。文中对非矩阵参数仍用 SF-AdamW，这说明方法本身不是统一 optimizer。

第二，polar update 的 aggressive normalization 是双刃剑。它可能更好利用 flat directions，也可能放大错误奇异方向。momentum 和 row normalization 缓解了这一点，但没有从根本上说明在不同噪声尺度、batch size、数据非平稳下的行为。

第三，理论和实践之间有距离。stationarity bound 依赖 smoothness、bounded variance、bounded iterates；实际 LLM loss、mixed precision、Newton-Schulz 近似、AdamW fallback 参数组都不在理论内。理论更多是 sanity check，不是性能解释。

第四，增益归因不完全清晰。SF-NorMuon 优于 SF-AdamW，可能来自 spectral optimizer 本身已更强；和 scheduled NorMuon 的 gap 仍存在，说明 schedule-free 机制没有完全消除 schedule 的价值。row-wise normalization、LR scaling、decay location、momentum 之间的交互也没有完全拆干净。

第五，它把 horizon tuning 问题部分转移成 optimizer design / decay location / spectral scaling 问题。虽然不需要 per-horizon schedule，但仍需要选择 base LR、weight decay、momentum、normalization，并且这些是否跨数据、跨架构迁移，文中未充分说明。

Takeaway

• 1. Schedule-free optimizer 的关键不是“有没有显式 schedule”，而是 fast iterate 的长期动力学是否可控；decay@Z 这个视角值得迁移到所有 constant-step + averaging 方法。
• 2. 对 LLM 中的大矩阵权重，operator-level geometry 继续显示出比 coordinate-wise geometry 更强的 token efficiency；把矩阵当 linear map 而不是 flat vector，可能是 optimizer 演化的重要方向。
• 3. Anytime training 不应只和 LR schedule 绑定。
• 更合理的分解是：base optimizer 负责快速提取信号，averaging 负责 horizon-free 返回点，stability mechanism 负责长期有界。

一句话总结

这篇论文把 schedule-free averaging、Muon/NorMuon 的 spectral matrix geometry 和 fast-iterate decay 稳定性合成了一个实用 anytime optimizer，真正贡献是指出 horizon-free 训练的瓶颈在 Z 动力学与矩阵更新几何，而不只是学习率 schedule 本身。