精读笔记
Problem Setting
《Exploiting weight-space symmetries for approximating curvature》（arXiv preprint / 2026）关注的是 neural network curvature approximation 在现代规模下的根本瓶颈：Hessian/Fisher/Gauss-Newton 的完整矩阵不可构造，不可存储，更不可逆；而可扩展 optimizer 又必须把曲率压缩到极低维结构里。过去方法通常直接假设 block-diagonal、Kronecker factorization 或梯度二阶矩结构，但这些结构更多来自计算需求，而不是模型本身的 invariance。
这篇论文真正处理的关键矛盾是：模型有大量 weight-space symmetries，它们给 loss landscape 带来确定性约束；但这些约束通常是 global/orbit-level 的，而曲率是 local object。若充分利用大 group，得到的 commutant algebra 很小、计算很便宜，但 orbit 离当前点远，局部 Taylor 近似变差；若只用小 subgroup，orbit 更局部、近似更可信，但结构更复杂、计算更贵。论文试图把这个 tradeoff 变成一个可设计的 knob。
Motivation
已有二阶/准二阶优化器的不足不在于缺少又一个 factorization，而在于缺少一个统一解释：为什么 Shampoo/Muon 这类 matrix whitening update 是合理的曲率近似？为什么某些 Kronecker block 结构在大模型中有效？这些结构和架构本身的 invariance 有什么关系？
作者的核心观察是：weight-space symmetry 不只是导致 mode connectivity / model merging / flat directions 的现象，它也给出了梯度如何在参数空间中变化的解析规律。若 L(w)=L(Aw)，则 ∇L(Aw)=A∇L(w)。因此一次 backward 得到的梯度 g，可以通过 group action 免费生成 orbit 上所有等价点的梯度 Ag。此前缺的就是：如何把这些 orbit-level gradient variations 压缩成一个可存储、可求逆、PSD 的 curvature approximation，并且让该结构由 symmetry 自动决定，而不是手写 optimizer heuristic。
Core Idea
论文的核心思想是：用 symmetry orbit 上的解析梯度变化来构造 secant information。给定当前参数 w 与梯度 g，先取 orbit average w*=R1(w,G)，再假设在 w* 附近二阶 Taylor 近似足够好，于是 g-g*≈H*(w-w*)。由于对任意 group element A 有 Aw 和 Ag，也可写成 A(g-g*)≈H*A(w-w*)。对这些 outer product 做 orbit average，得到 S_g≈H*S_wH*。这一步把单个梯度变成了一个结构化的曲率方程。
关键变化在于：曲率结构不是人工选择 Kronecker，而是由所选 group 的 commutant algebra 决定。orbit average 必须与 group action commute，因此它只能落在一个低维 invariant subspace 中，可由少量 basis tensor 和 factor 表示。换句话说，group choice 同时决定了 approximation class、存储成本、求逆成本和 locality。这是本文相对 prior 最实质的建模转向。
Method
方法上真正必要的机制只有几层。
第一，利用 loss invariance 得到 gradient equivariance，从而用单次梯度构造 orbit 上的梯度族。这解决的是 sample efficiency：不需要额外 Hessian-vector product 或多次梯度评估，就能获得一批确定性的 secant-like constraints。
第二，把 orbit 上的 secant constraints 聚合为 S_g≈H S_w H。这个方程比直接拟合 Hessian 更可控，因为 S_g 和 S_w 都是 orbit-averaged outer products，天然 PSD 且具有 group-invariant structure。其 PSD 解是一个 matrix geometric mean 形式的 H_PD；但严格解需要 S_w^{-1/2}，实际会遇到低秩和数值不稳定。
第三，作者实际更依赖简化版 H_g=S_g^{1/2}，相当于假设 S_w 近似 identity 或至少不值得显式建模。这一步大幅降低成本，也避免 S_w inversion 的病态。严格说，这是本文从理论框架走向可用 optimizer 的关键 engineering/theoretical compromise。
第四，通过 commutant algebra / diagrammatic enumeration 自动生成 orbit average 的 basis。核心作用不是炫代数，而是把“用户指定 symmetry”编译成“可计算的 factorized curvature”。这使得 framework 能覆盖 MLP、Transformer 和不同 group choices。
第五，选择特定 restricted group 并取 block-diagonal 后，S_g block 退化为 F⊗I 或 I⊗F；其 inverse square-root 作用在梯度上就是 Muon/Shampoo 的 whitening update。这里的重点不是提出新 optimizer，而是给 Muon/Shampoo 一个 symmetry-derived curvature interpretation。
Key Insight / Why It Works
最重要的 insight 是：optimizer 的有效结构可能不是任意的低秩/Kronecker 假设，而是架构 symmetry 的 commutant。只要 curvature estimator 与 weight-space symmetry 相容，它就会自动排除大量不可能或不可辨识的方向，把估计集中到少数 invariant factors 上。这是一种强 inductive bias，尤其适合高维参数空间下的二阶信息压缩。
为什么它可能有效：优化过程中真正需要的不是全 Hessian，而是对梯度方向及其附近子空间的预条件。orbit-averaged S_g 本质上是“把当前梯度按 symmetry 复制并平均”的 PSD 统计，它保留了 gradient-aligned 的大尺度各向异性，同时丢弃了与 symmetry 不相容的细节。Shampoo/Muon 的成功可解释为：它们恰好选择了一个中等大小 subgroup，让 curvature class 足够简单可逆，又没有把 orbit 拉得过远。
我认为最核心贡献是 symmetry group → commutant algebra → curvature approximation class 这一条链路，以及 Shampoo/Muon 作为特例的推导。H_PD 的严格公式反而不是实践核心，因为实验显示 S_w 低秩会让它不稳定，真正可用的是 H_g=S_g^{1/2} 加 block-diagonal。也就是说，论文理论最完整的对象未必是实际最强对象；实际性能很可能主要来自 matrix whitening / Muon-like scaling，而 symmetry framework 提供了更原则化的解释和设计空间。
这不是 retrieval、data coverage 或 test-time compute 型贡献；本质上是 better inductive bias + latent symmetry structure reuse。它把已有 optimizer 中隐含的 whitening 结构解释为 symmetry-compatible curvature，而不是发现了全新的优化动力学。增益来源在新 optimizer 实验中并不完全清楚；强证据更多支持“框架能解释 Muon/Shampoo”，而不是“Symo 明显超过 Muon/Shampoo”。
Relation To Prior Work
最接近的技术谱系有三条：一是 KFAC/Shampoo/SOAP/Muon 等 scalable second-order 或 matrix whitening optimizer；二是 weight-space symmetry / model permutation / loss landscape invariance；三是 Bernacchia 的 global curvature / orbit averaging 思路。
与 Shampoo/KFAC 的本质差异在于，本文不是先假设 Kronecker block，再证明好用；而是从 symmetry group 的 commutant 推出允许的 curvature structure。KFAC 通常来自 layerwise activation-gradient factorization 或 Fisher/Gauss-Newton 近似，Shampoo 来自 per-tensor second-moment preconditioning；本文给出的解释是：某些 restricted permutation/signed-permutation symmetry 下，commutant 恰好产生 Shampoo/Muon 的 block form。
与 Bernacchia 2025 的关系更微妙。两者都使用 orbit/global averaging 构造 curvature-like object；本文的新增点是把它定位为单模型 Hessian approximation，系统连接 commutant algebra，并扩展到 Transformer，同时明确展示 Shampoo/Muon 的 recoverability。因此不是完全从零发明，而是把 symmetry averaging、representation-theoretic invariant structure、matrix whitening optimizer 三个已有线索重组为一个较清晰的框架。
实质创新在于“group choice controls accuracy-complexity tradeoff”这个设计视角，以及把 Muon/Shampoo 放进该视角里。看似新的 Symo optimizer，在常用配置下很大程度上是 Muon/Shampoo 的 symmetry reparameterization；其新意更多是理论 lens 和可生成 alternative curvature classes。
Dataset / Evaluation
评估覆盖了三类 claim：曲率近似质量、与 Shampoo/Muon 的等价性、不同 symmetry group choice 的影响。小 MLP teacher-student 用 exact Hessian 做 secant cosine 是合理的 sanity check，尤其验证 gradient direction 上的相关性；但模型很小，且只看 cosine，不足以证明谱级别或泛化性的 Hessian approximation。
MNIST autoencoder 和 nanoGPT character-level Shakespeare 主要验证 practical equivalence with Muon。这里实验支持得很好：Symo 和 Muon 曲线高度重合，说明推导不是纯形式。但这类实验并没有证明 Symo 是更强 optimizer；反而更像证明“在实际 heuristic 不完全相同的情况下，Symo 仍会落到 Muon-like behavior”。
Sec.6 的 group choice exploration 是本文最有信息量的实验之一，因为它直接测试 group size 与性能的关系：更大 group 更便宜但更粗，较小 group/BD 接近 Shampoo。问题是 benchmark 仍偏传统 autoencoder，规模和任务复杂度有限。nanoGPT 虽有 10M 参数，但属于轻量 char-level benchmark，离 LLM training 的真实部署还有明显距离。整体 evaluation 支持 conceptual claim，但不足以支持大规模优化器替代方案的 claim。
Limitation
最大限制是 locality assumption。group orbit 上的点和当前 w 功能等价，但参数距离可能很远；用这些点的梯度变化拟合局部 Hessian，需要 Hessian 在整个 orbit ball 内足够平滑。文中给了 Lipschitz-Hessian 下的 orbit radius bound，但这几乎是形式性保证：trained network 的 orbit radius、Hessian Lipschitz 常数、normalization/residual 对 symmetry 的破坏都文中未充分说明。
第二，严格 Hessian approximation 与实际 optimizer 之间有断裂。H_PD 是从 S_g≈H S_w H 推出的 PSD 解，但实践中因 S_w rank-deficient，作者转向 H_g=S_g^{1/2}。这一步很可能是有效性的关键，却缺少同等强度的理论解释。换言之，方法可能并不是在可靠估计 Hessian，而是在构造一个 symmetry-averaged gradient whitening preconditioner。
第三，group selection 仍是人工问题。对于标准 MLP/Transformer，哪些 axis 可以 permute/sign/orthogonal transform 尚可手写；但真实架构中 residual ties、LayerNorm、embedding sharing、attention head implementation、parameter tying 会让 exact symmetry 变复杂。自动从 computational graph 推断 symmetry 文中未解决。
第四，block-diagonal 仍是主要可扩展手段，cross-tensor curvature 基本没有被真正利用。论文说 framework 可包含 off-diagonal，但 nanoGPT 等实际设置仍依赖 BD；所以 scalable advantage 很大程度仍来自已有二阶优化器的工程妥协。
第五，增益归因不清。若 Symo≈Muon，而 Muon 的性能已知来自 polar/whitening、momentum、scaling、Newton-Schulz 等因素，那么本文实验中的优化收益可能主要来自这些已有机制，而不是更完整的 symmetry curvature construction。
Takeaway
- 1. 最值得记住的是：weight-space symmetry 可以直接定义 curvature approximation class；commutant algebra 是把 symmetry 转成可计算结构的自然语言。
- 2. Shampoo/Muon 可以被看作没有完全利用所有 symmetry，而是选择了一个“足够小的 subgroup”来换取更局部、更表达的 curvature proxy；这比单纯说它们是 matrix whitening 更有解释力。
- 3. 未来真正有价值的方向不是再证明 Symo≈Muon，而是自动 group selection：给定架构和预算，选择 locality/complexity 最优的 subgroup，并判断哪些 off-diagonal invariant blocks 值得保留。
- 4. 这个 insight 可迁移到 Laplace approximation、continual learning、pruning/influence 等需要曲率但不能存 Hessian 的问题：先用 symmetry 压缩 curvature space，再在该 space 中估计 factors。
一句话总结
这篇论文把神经网络 weight-space symmetry 提升为可设计的曲率近似原则，并将 Shampoo/Muon 解释为特定 restricted symmetry 下的 commutant-based gradient whitening，是一次偏理论统一与 inductive-bias 重构的二阶优化方法演化。