精读笔记
Problem Setting
这篇论文研究的是一个很窄但机制上干净的问题：两层网络在完整有限群乘法表上训练时，内部权重是否会自发恢复群的不可约表示，以及这种恢复在非 Abelian 情况下具体长什么样。它不是在证明网络能不能拟合群乘法——完整表、过参数网络、cross-entropy 下拟合本身并不神秘；真正问题是训练动力学为什么会选择 representation-theoretic basis，而不是任意 lookup-table solution。
困难点在于非 Abelian 群把 modular addition 中的“频率”替换成矩阵值 irreps。标量 Fourier mode 中的 phase alignment 在矩阵块里不再自动成立，矩阵乘法还有方向性和非交换性。因此关键矛盾是：任务的代数结构要求 spectral block 的乘法一致性，但网络参数空间允许大量混合、高秩、跨表示叠加的解。论文要证明 gradient flow 会把这些自由度压到单个 irrep，并且进一步压到 rank-one aligned matrix。
以前方法主要卡在 cyclic / Abelian 场景：可以解释 single-frequency sinusoid，但不能解释高维 irrep 内部的低秩组织，也不能说明一般有限群中 representation selection 是动力学吸引子而非经验现象。
Motivation
已有 modular addition 工作已经知道网络会学 Fourier features，但那种说法本质上依赖 Abelian 群的所有 irreps 都是一维 character。只要进入非 Abelian 群，“frequency”这个概念就不够了，因为一个 irrep 是 dρ × dρ 的矩阵块，里面有 dρ² 个自由度。真正缺的是一个能同时解释两件事的理论：一是 neuron 为什么只选一个 irrep；二是选中后为什么不使用整个矩阵块，而是形成某种低秩 alignment。
作者的核心观察是，群 composition 在 Fourier 域天然表现为 representation matrix 的乘法，因此两输入 embedding 和输出 embedding 之间应该由一个三线性乘法能量耦合。这个观察把 mechanistic interpretability 里的“看见 Fourier pattern”升级为 optimization dynamics 里的“Fourier manifold 上能量最大化”。
所以这篇论文不是为了提出更强模型，而是补一个理论缺口：从 modular addition 的 scalar spectral story 推广到 arbitrary finite group 的 matrix spectral story，并解释低秩结构如何从训练中出现。
Core Idea
核心思想可以概括为：把每个 neuron 的三个方向参数 θ1、θ2、ξ 看作 G 上的函数，做 group Fourier transform；在小 logit regime 下，projected gradient flow 等价于在 spectral product sphere 上最大化一个三线性能量 Ω = Σρ dρ tr(ξ[ρ]^* θ2[ρ] θ1[ρ])。这个能量的乘法顺序正好对应 g1 ⋆ g2 的左右结构，因此非交换性不是 nuisance，而是直接进入 alignment condition。
这个建模改变很关键：prior 把 Fourier basis 当作 learned representation 的观察坐标；本文把 Fourier 域变成训练动力学的自然坐标。于是“网络学到表示”被转化为能量景观的稳定临界点分类。作者证明稳定吸引子几乎只能是：某个非平凡 irrep 及其 dual 存活，其他 block 消失；存活 block 中 θ1、θ2、ξ 都是 rank-one，并满足 ξ ∝ θ2 θ1、θ1 ∝ θ2^* ξ、θ2 ∝ ξ θ1^* 这类 rotational alignment。
和 prior 的本质区别在于：modular addition 中 phase alignment 是 scalar multiplication 的简单相位关系；这里的 alignment 是矩阵乘法顺序下的 rank-one factorization。新增的 inductive bias 不是架构显式给的，而是由 group composition loss + quadratic activation + projected directional training 共同诱导出来的 spectral low-rank bias。
Method
1. 小 logit approximation：解决 CE softmax 非线性导致动力学难以解析的问题。scale a 在 Stage I 固定且足够小，使 softmax 近似 uniform，risk 的主导项变成正确 label logit 与平均 logit之差。核心变化是把训练目标化为可 Fourier 分解的三线性形式。这里是理论分析的入口，但也是结论外推到真实训练的薄弱环节。
2. Fourier-domain Riemannian lift：解决原始坐标中群结构不可见的问题。每个权重函数 ν:G→R 被分解到 Irr(G) 的 matrix blocks；unit-sphere constraint 通过 Plancherel 变成 spectral Hilbert sphere。核心变化是 projected gradient flow 被识别为 Ω 的 Riemannian gradient ascent。
3. Critical point classification：解决“为什么不是 spectral mixture / high-rank block”的问题。作者按 equilibrium energy 的符号和 rank/support 结构分类：负能量和退化零能量只能由 measure-zero 初始化进入；非退化零能量和高秩正能量是 strict saddle；剩下的正能量 rank-one 单表示 equilibrium 是 generic limit。
4. Saddle avoidance on Riemannian manifolds：解决严格鞍点是否真的会被随机初始化避开的问题。这里把 Lee et al. 风格的 first-order saddle avoidance 推到 continuous Riemannian gradient flow，用 center-stable manifold theorem 说明 strict saddle 的 stable set 体积为零。
5. Stage II scale growth：解决 feature 已学到但 CE loss 还没降到零的问题。冻结方向，只放大 scale；若 mean-field predictor 已满足正确 label margin，则 scale 对数增长，CE loss 以 O(1/T) 降低。这部分主要是 margin sharpening，不是表示学习本体。
Key Insight / Why It Works
最核心的有效性来源是 latent algebraic structure + representation alignment，而不是 scaling、retrieval 或更强架构。完整群表的监督信号在 Fourier 域非常刚性：group multiplication diagonalizes / block-diagonalizes 成 irrep matrix multiplication。quadratic neuron 正好产生两个输入 embedding 的二次交互，使单个 neuron 的贡献能匹配 θ2[ρ]θ1[ρ] 这种乘法结构。输出 embedding ξ[ρ] 与这个乘积做 inner product，于是 Ω 的最大化自然鼓励三者在同一个 irrep block 内对齐。
为什么会 single representation？因为 Ω 是跨 irrep 求和，但 sphere norm 是全局约束；多个 irrep 同时活跃会分散 norm，并在 Hessian 中产生可提升能量的重分配方向，因此高秩/多表示 critical point 不是稳定最大点，而是 strict saddle。直觉上，每个 neuron 在 spectral lottery 中把全部容量押到一个 representation，类似 winner-take-all feature specialization。
为什么会 rank-one？这是论文最有价值的新 insight。非 Abelian irrep block 有矩阵自由度，但三线性能量 tr(ξ^* θ2 θ1) 在 Frobenius/sphere 约束下的稳定正能量极值偏好 rank-one partial isometry 对齐。也就是说，网络并不是学习完整 dρ-dimensional representation matrix，而是在该 irrep 内学习一个 rank-one channel。这个低秩压缩是非 Abelian 情况下相对 modular addition 真正新增的信息。
Abelian 部分的 diversification 则更多来自初始化对称性和 ODE 等变性，而不是训练显式鼓励均匀覆盖。随机球面初始化在非平凡 characters 上 exchangeable；winner selection map 对 irrep permutation 等变，因此宏观上 winner 均匀。phase Haar-uniform 也不是优化出的复杂结构，而是 absolute phase 不进入 reduced dynamics，只被确定性旋转，保留了初始化的 Haar 分布。这里的“diversification”更像 symmetry preservation under random initialization。
需要直说：Stage II 的 loss convergence 基本是 separable-data 上 scale explosion 的老机制。它确认 learned features 能被 softmax sharpen，但理论创新主要不在这里。实验中的 loss drop 也主要是 scale / margin effect，而不是新的 feature learning 证据。
Relation To Prior Work
最接近的是 He et al. 2026 关于 modular addition 的 Fourier feature、lottery ticket、phase alignment、flawed indicator 机制。本文的 Abelian 部分基本是把 Z_p 的 scalar character 语言推广到任意 finite Abelian group，并形式化 uniform irrep diversification 和 Haar phase。这里是重要推广，但本质机制与前作连续。
真正实质创新在 general finite group，尤其非 Abelian：把 single frequency 变成 single irrep，把 scalar phase alignment 变成 matrix-valued rank-one rotational alignment。rank-one compression 是 prior modular addition 中看不到的，因为一维 irrep 下 rank-one vacuous。这个点是本文相对于已有 Fourier-feature/grokking 理论的主要新增信息。
和 mechanistic interpretability 的 group-operation reverse engineering 相比，本文不是事后 circuit analysis，而是从 gradient flow 推出结构会出现。和 finite-group invariance 强制 Fourier transform 的路线相比，本文不依赖显式 invariant architecture，而是从 task loss 和优化动力学中得到 spectral specialization。和 mean-field two-layer feature learning 理论相比，它属于 structured target dynamics 的一支，但 target structure 是 representation-theoretic，而不是 single-index/multi-index 的 Euclidean latent subspace。
一些看似新的部分其实是已有思想重组：two-stage feature-direction / scale-growth 分解、strict saddle avoidance、separable CE 下 logarithmic scale growth 都有成熟来源。新增的是把这些工具放到 group Fourier manifold 后，能精确刻画非 Abelian irrep block 的稳定结构。
Dataset / Evaluation
evaluation 主要是 synthetic full-table group composition，不是现实数据，也不是 partial-data generalization benchmark。任务覆盖包括 generalized modular addition 的 Abelian product group，以及一个非 Abelian Frobenius group C7 ⋊ C3。实验目标不是证明模型实用性，而是验证理论预言的内部结构：Fourier block sparsity、active irrep、rank-one singular spectrum、rotational alignment、Stage II scale growth。
这些实验基本支持核心 mechanistic claim，但覆盖面偏窄。非 Abelian 实验只展示一个小群，不能说明一般非 Abelian 群、尤其多高维 irreps、self-dual irreps、复杂 representation ring 下 μ-PA 是否成立。作者对 general group 的 perfect accuracy 主要靠实验观察和条件假设，而不是完整理论。
benchmark 本身不能验证真实泛化。训练使用完整 composition table，所以不存在 train-test split 意义上的 compositional generalization；它验证的是 optimization-induced internal organization，而不是 sample efficiency 或 grokking。若读者关心实际 grokking，本文最多提供 population-level mechanism，不提供 delayed generalization 的完整解释。
Limitation
最硬的限制是设定强。完整表训练消除了数据覆盖问题，因此所谓“学会群乘法”很大程度上不是泛化问题，而是内部参数如何组织的问题。若只有部分表，network 是否仍会形成同样的 irrep lottery、是否能补全未见 group products，文中未充分说明。
小-logit近似是理论链条的入口。Proposition 4.2 只保证有限时间 horizon 内 exact CE 与 approximate risk 的 trajectory close；Theorem 4.3 的收敛是 approximate risk 下 t→∞ 的结论。严格来说，early finite-time approximation 与 asymptotic spectral convergence 之间仍有 gap。真实训练是否始终停留在可由 approximate flow 描述的 regime，文中未充分说明。
Stage I/Stage II 人为分离也很强。实际网络通常方向和尺度同时训练，scale 增长可能反过来改变 feature dynamics；本文通过固定小 scale 先学方向、再放大 scale 来规避耦合。这个分解有解释价值，但不是一般训练的完整理论。
一般非 Abelian 情况的上限很明显：论文证明了单 neuron 会选一个 rank-one irrep channel，但没有给出 ensemble 层面如何分布在 irreps 上，也没有证明这些 rank-one channels 组合后一定形成正确 group indicator。Theorem 4.5 需要 μ-PA 作为条件；Abelian 中证明了 μ-PA，但 general group 中未证明。因此“arbitrary finite group provably learns spectral representations”成立，但“arbitrary finite group provably solves composition via learned spectral ensemble”的强版本并未完整成立。
self-conjugate irreps 处理不完整。Abelian self-conjugate 被放到 appendix 做经验和解释，general self-dual high-dimensional representations 的 phase/sign/orthogonal gauge 结构更复杂，文中未充分说明。
scalability 也不是本文重点。Group Fourier transform、irrep enumeration、完整表规模 |G|² 都随群大小增长很快；理论更像 mechanistic microscope，而不是 scalable algorithm。若把结论迁移到大模型或自然语言任务，增益来源不清，不能直接声称类似 representation learning 会自动出现。
Takeaway
- 1. 最值得记住的是：非 Abelian 群上的 learned feature 不是“多个 sinusoid 的推广”，而是“单 irrep block 内的 rank-one aligned channel”。
- rank-one compression 是本文最可迁移的 insight。
- 2. Fourier / representation basis 不只是解释坐标；在结构化代数任务中，它可以是优化动力学的自然坐标。
- 把 gradient flow lift 到 symmetry-adapted spectral manifold 是很有价值的分析范式。
一句话总结
《Neural Networks Provably Learn Spectral Representations for Group Composition》（arXiv preprint / 2026-06-03）把 modular addition 的 Fourier-feature 机制提升到任意有限群的 representation-theoretic gradient-flow 理论，真正新增的是证明非 Abelian irrep 中会出现 single-representation selection 与 rank-one rotational alignment。