精读笔记
Problem Setting
《Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks》（arXiv preprint / 2026）处理的是深网优化中的一个被 Adam 放大的结构性不一致：loss 和模型函数对若干连续参数变换不变，但 optimizer state 却不是不变的。换句话说，训练目标生活在 quotient Θ/G 上，Adam 的逐坐标二阶矩却生活在任意选择的参数坐标系里。
真正困难点不是识别这些 symmetry，而是让 adaptive optimizer 在不牺牲 adaptivity 的情况下 respect symmetry。SGD 在很多 gauge 上天然不会沿 orbit 漂移，但 Adam 的 per-coordinate normalization 会把本来在梯度核里的 gauge direction 重新激活。以前的 soft fix，比如 Z-loss，只对 CE shift 有效，而且在 Adam normalization 下可能把 gauge direction 变成稳定推力。关键矛盾是：现代训练需要 adaptive preconditioning，但 adaptive statistics 一旦按原始坐标记录，就会破坏函数等价类。
Motivation
作者的核心观察是：dead direction 不只是 Hessian/Fisher 的退化方向，也包括 architectural gauge orbit；如果 optimizer 沿这些 orbit 漂移，那么你看到的 Fisher 最小特征值、activation singular value、local learning coefficient 相关 rate，都不再是 quotient geometry 的干净读数。
已有 optimizer 设计大多把 symmetry 当成 loss 的性质，而不是 optimizer state 的约束。AdamW、Muon、Shampoo 等可以有各自的隐式 bias，但它们默认参数坐标是有意义的；这在 permutation symmetry 下问题较小，在 ReLU/LN scale、CE row-shift、attention rotation 这类连续 gauge 下就会出错。DDC 的动机是把“optimizer 应该在 quotient 上下降”变成一个构造原则，而不是事后用 regularizer 或 gauge fixing 修补。
Core Idea
核心思想是把 preconditioner 从 coordinate basis 搬到 gauge-equivariant orbit decomposition。每一步先把梯度分为 vertical component 和 horizontal component：vertical 是沿 gauge orbit 的纯参数重标记，horizontal 是 quotient 上真正改变函数的方向。DDC 只在 horizontal frame 中保留 Adam 式逐坐标 adaptivity；vertical 部分被 collapse 成 orbit-level scalar，甚至可以 frozen。这样同一个函数的不同参数表示会得到等价更新。
这个建模方式的变化很重要：它不是限制模型表达，也不是给 loss 加项，而是约束 optimizer 的可观测变量。Adam 原本把每个参数坐标的梯度历史都当成有意义信号；DDC 认为 gauge orbit 内的坐标差异不应进入 adaptive state。相比 prior，本质差异在于它把 symmetry quotient 直接嵌入 optimizer state，而不是只在 architecture、loss 或 post-hoc normalization 中处理 symmetry。
Method
第一，vertical/horizontal projection 解决“更新是否改变函数”的问题。对 CE row-shift、ReLU/SwiGLU rescale、LayerNorm/RMSNorm scale、attention QK/VO rotation，作者分别给出对应 gauge 的 orbit tangent 和水平投影。这个投影不是细节，而是保证 optimizer 能下降到 Θ/G 的必要条件。
第二，DDCAdam 重写二阶矩。水平方向使用等变 frame 中的 per-coordinate second moment，并在除以 sqrt(v) 后重新投影回水平空间；垂直方向使用 orbit-collapsed scalar 或直接冻结。外层 re-projection 是关键，因为即使输入是水平梯度，逐坐标除法也可能把它带回 vertical direction。
第三，非阿贝尔 rotation gauge 需要特殊 second moment。per-head O(d_head) 旋转会混合坐标，标准 Adam 的 v 完全不等变。论文给出从 per-head scalar、per-head PSD matrix 到 body_frame/top-k 的谱系。这里真正的 trade-off 是 equivariance vs adaptivity：最严格的 scalar/matrix 更干净，body_frame_topk 更像工程上保留 Adam 能力的折中。
第四，Muon 组合只在 rotation gauge 上成立。polar(MO)=polar(M)O 使 rotation gauge 能与 Muon orthogonalizer commute；但 per-channel rescale 与 polar 不 commute，因此 DDCMuon 不能统一吃下所有 gauge。这一点不是缺陷小修，而是揭示了不同 gauge 对应不同 block norm / optimizer family。
Key Insight / Why It Works
最核心贡献是把 adaptive optimizer 的 failure mode 定位为 symmetry-breaking preconditioner，而不是普通 noise、bad conditioning 或 weight decay tuning。Adam 的问题不是走得慢，而是它在 quotient 上没有定义良好的动力学：两个 gauge-equivalent 参数点可能因为 v history 不同而走向不同 quotient trajectory。这会同时影响最终 minimum 和几何读数。
DDC 有效的原因是 representation alignment：optimizer state 被对齐到函数空间有效方向，而不是参数坐标。它更像 better inductive bias，不是 scaling、retrieval、curriculum、test-time compute 或 data coverage。它把“哪些方向可学习、哪些方向只是 gauge”这件事编码进 preconditioner，从而减少无意义漂移，并让 dead-direction rate 在 canonical quotient chart 上重新可读。
我认为论文最实质的部分是：1）outer horizontal re-projection 对 Adam 的必要性；2）rotation gauge 下 per-coordinate v 的非等变分析；3）composition boundary 说明为什么 Muon 只接受 rotation gauge 而不接受 scale gauge。相对而言，若干实验中的 grokking speed gain 更像 weight decay / coordinate choice 的副产物，作者也基本承认这一点。真正应被记住的不是“DDC groks faster”，而是“gauge-compatible optimizer changes the minimum and makes quotient geometry measurable”。
需要警惕的是，rate-readability 本身依赖 canonical-aligned approach 和 asymptoticity gate；这不是任意训练轨迹上都能读 local learning coefficient。body_frame_topk 也不是严格理论对象，而是为了保留 adaptivity 的工程折中。因此论文的理论最干净地支持 DDCAdam，实验最显眼的 DDCMuon 结果反而理论归因较弱。
Relation To Prior Work
这篇最接近三条线：参数空间 symmetry / Noether learning dynamics，singular learning theory / local learning coefficient，以及 transformation-invariant adaptive optimization。它把这三条线接在 optimizer state 上，而不是只讨论 loss geometry 或模型等价类。
和 Z-loss 的本质差异是，Z-loss 是 soft section，只处理输出 shift，并且在 Adam 下会被 normalization 放大成 orbit drift；DDC 是 optimizer-level equivariance。和 Riemannian Adam 的差异是，后者通常给定 product manifold geometry，DDC 的 metric 来自 symmetry quotient。和 Shampoo/K-FAC/SOAP 的关系更像可组合：这些是更强的 block preconditioner，DDC 是要求 preconditioner 尊重 gauge decomposition。和 Muon/Scion/modular norm 的关系很关键：论文把“哪个 optimizer 适合哪个 block”解释为 quotient metric 诱导的 norm 选择。
看似新的地方里，一部分是已有思想重组：quotient geometry、gauge fixing、rotation-equivariant second moment、polar equivariance 都有先例。实质新增信息是把这些组合成一个 optimizer construction，并明确给出 Adam 为什么不在 Θ/G 上 descent，以及不同 gauge 与不同 optimizer base 的组合边界。
Dataset / Evaluation
evaluation 的强项是覆盖了从 clean mechanism 到较真实任务的多层证据链：synthetic gauge tests 证明等变实现确实成立；grokking transformer 用来放大 symmetry/weight-decay/minimum geometry 的差异；over-trained small LM 验证 rate-readability 和 over-training behavior；ViT compression 显示方法不只在玩具 modular arithmetic 上工作。
但这些实验并没有完全证明“DDC 是通用大模型训练改进”。LM 规模偏小且刻意过训练在 10M-token slice 上，ViT 是 ImageNet-100 scratch compression regime，grokking 任务本身高度依赖结构性 symmetry。实验更有力地支持“当任务和架构的 gauge 与优化动力学强耦合时，DDC 可以改变最终几何”，而不是支持“任何 transformer 预训练都应换 DDC”。
消融方面，作者对 weight decay vs projection 的拆分做得比较诚实：Muon speed-up 主要来自 bundled weight decay，projection 的贡献在 reliability 和 axis-aligned dead basis。这个归因比单纯报 grokking 数字可信。不过 body_frame_topk、radial coordinate、vertical frozen/adam/sgd 等工程选择仍然较多，部分增益来源不清。
Limitation
第一，方法成立依赖 gauge action 可被准确指定。真实大模型里很多近似 symmetry 会被 RoPE、bias、normalization variant、implementation convention、weight decay、parameter sharing 打破；如果 gauge 写错，DDC 可能强行投影掉真实有效方向。
第二，理论假设比实验部署干净。Theorem 主要覆盖 DDCAdam 的严格等变和 quotient rate；DDCMuon 只保证 orbit-holding，不保证 per-step body-frame conditioning。body_frame_topk 只有近似等变，依赖 eigengap 和 sign tracking，谱交叉是明确 failure mode。
第三，scalability 上限未被充分说明。作者声称 eigendecomposition 相对开销随规模下降，但大 head dimension、多 GQA group、频繁 basis recompute、分布式 optimizer state 同步都会引入系统复杂度。文中未充分说明在 billion-scale pretraining 中这些 gauge projectors 与 fused optimizer / ZeRO / tensor parallel 的真实交互成本。
第四，泛化收益的归因仍不完全清楚。ViT 和 LM 结果显示更低 loss / 更强 compression，但可能来自 weight-decay coordinate、regularization strength、capacity pruning regime，而不全是 quotient equivariance。grokking 可靠性结果很强，但 grokking benchmark 本身容易放大 optimizer regularization 差异，不能直接外推到一般 reasoning 或 language modeling。
第五，rate-readability 不是自动获得完整 singular structure。DDC 只是把轨迹留在 canonical quotient chart 上，使某些 slope 可读；多方向 order、multiplicity、off-canonical alignment 仍需要额外 machinery。换言之，它把“几何不可读”转移成“需要正确 gauge 和正确 chart 才可读”。
Takeaway
- 1. 以后 optimizer 设计不能只问 preconditioner 是否 condition well，还要问它是否在模型的 symmetry quotient 上 well-defined；这对 transformer 这类 symmetry-stacked architecture 尤其重要。
- 2. DDC 最值得迁移的 insight 是：adaptive statistics 应该按等价类组织，而不是按裸参数坐标组织。
- 这个思想可迁移到 LoRA factor gauges、MoE router symmetry、embedding/unembedding tying、quantization rotation 等场景。
- 3. 不同 gauge 选择不同 optimizer norm：rotation gauge 自然接 spectral / Muon-like update，per-channel scale gauge 自然接 coordinate-wise / Adam-like update。
一句话总结
这篇论文把深网连续参数对称性从 loss/architecture 层面推进到 optimizer-state 层面，提出了一类 gauge-equivariant adaptive preconditioner；它真正贡献的是 quotient-aware optimizer 设计原则，而不是又一个单纯追求更快收敛的 Adam 变体。