精读笔记

Problem Setting

这篇论文实际解决的是 post-hoc weight analysis 中一个经常被默认跳过的问题：从训练后神经场权重里看到的对称性，到底是不是目标函数的真实几何对称性。作者的答案是否定的：权重读出来的是 observable symmetry set，而不是 G_true 本身。真正困难点在于，输入空间的几何群不直接作用在权重空间；它必须经过 PE 被 lift 到 feature space，再通过某个 observable 被投影成可比较的统计量。以前的路线要么做 equivariant architecture，把对称性先验写进模型；要么做 symmetry discovery，从数据、梯度或模型响应找生成元；要么做 weight-space learning，把权重当对象预测属性。它们大多没有明确区分 functional symmetry 和 structural observability。这里的关键矛盾是：MLP 可以函数上学出一个 D3 对称 SDF，但如果 PE 的特征空间没有 D3 的 exact lift，那么基于该 lift 的权重 readout 在结构上就不应期待看到 D3。

Motivation

已有路线不够的地方不是 detector 不够复杂，而是问题定义过于乐观：默认真实对称性只要被模型学到，就应该能从权重中恢复。作者抓住的核心观察是，权重级 readout 有一个被忽略的观测瓶颈：PE 决定哪些输入变换在网络第一层之前仍然有线性代数意义，observable 决定这些变换是否在权重统计量上表现为不变性。换言之，失败不一定来自训练没学到，也不一定来自 readout 太弱，而可能来自 PE 对该群作用根本不可表示。关键缺口是缺一个 observability theory：告诉我们哪些 symmetry readout 的失败是算法问题，哪些是表示结构上限。

Core Idea

核心思想是把“从权重恢复真实对称群”改写成“在给定 PE phi 和 observable Phi 的观测系统下，读出 G_obs(theta; phi, Phi)”。这改变了建模对象：对称性不再是 theta 的绝对属性，而是 theta、PE、readout 三者共同诱导出的可观测属性。理论上，它通过 G_obs^exact ⊆ G_lift^exact(phi) ∩ G_true 给出一个上界：真实存在但 PE 不可 lift 的对称性，在 exact structural readout 中不可见。

这个想法的直觉很强：PE 是从几何输入到神经网络权重的接口，所有输入群作用必须先通过这个接口变成 feature-space 的 rho(g)。如果 rho(g) 不存在，后续权重矩阵没有稳定代数对象可以承载该变换。与 prior 的本质区别是，它不是提出一个更强的 symmetry discovery procedure，而是把 discovery 的可见性条件显式化；它引入的 inductive bias 是 representation-aligned observability，而不是 architecture-level equivariance。

Method

方法只需要抓住几条机制。第一，定义 PE 的 exact liftability：若 phi(gx)=rho(g)phi(x)，则输入变换 g 可以被线性追踪到 feature space。这解决的是“几何变换如何作用到权重侧”的问题；没有这一步，weight-level symmetry comparison 没有明确对象。

第二，把 g-transformed model 的作用实现为第一层权重变换 W0 -> W0 rho(g^{-1})。这一步的必要性在于把函数输入变换转化成参数空间的结构变换，使得不需要 dense forward 也能比较模型内部结构。它带来的核心变化是：symmetry readout 从 input-output evaluation 变成了 feature-space representation action 下的 weight observable invariance。

第三，选择 Gram / prefix Gram 作为主要 observable。Gram 的作用不是神秘地发现对称性，而是压掉一部分 neuron permutation 等 gauge-like degrees，同时保留 PE 方向上的二阶结构。L0 prefix Gram 最清楚，因为它最靠近 PE，受到深层非线性和训练冗余的污染最少。

第四，用 Procrustes residual 估计某个变换是否能被 PE 近似 lift。它解决的是实验中必须扫连续角度、处理 RFF 和非 exact 变换的问题。但这也是 operational extension，不等于理论 exact regime；文中在这点上基本清楚地区分了两者。

Key Insight / Why It Works

最关键的 insight 是 functional symmetry 与 structural symmetry 的分离。一个目标函数具有 D3 对称性，并不意味着训练后权重在某个 Gram observable 下必须显示 D3；只有当 PE 把 D3 变换表示成 feature-space 的线性作用，并且 observable 对这种作用足够敏感时，D3 才可能被读出。这是论文最实质的贡献。

方法有效主要来自 representation alignment，而不是 scaling、data coverage、test-time compute 或更复杂 detector。DyadicAxisPE 的轴分离结构天然支持坐标轴交换和符号翻转，因此 D4 可见；但 120 度旋转会把单坐标正弦变成混合坐标函数，无法由原 PE 分量线性组合得到，因此 D3 被结构性压制。TriAxisPE 通过把频率方向换成三条 120 度轴，使 D3/D6 变成 block permutation/sign flip，从而把原本不可见的 symmetry 变成可见。RFF 在一般位置下频率集合不闭合，所以除了 sign reversal 对应的 pi rotation，很难出现 exact lift。

这里最可能是核心贡献的是 observability hierarchy 和 PE-dependent failure explanation；Gram observable、thresholding、rotation sweep 更像辅助验证工具。实验中 score 的改善不应被理解成模型学得更好，而是观测坐标系更对齐。也就是说，这篇论文的“性能差异”本质上不是 optimization gain，而是 readout compatibility gain。

需要警惕的是，symmetry-sufficient observable 这个假设很强，实际 Gram 并不显然充分。文中更多是用受控实验表明 Gram profile 与 hierarchy 一致，而不是证明 Gram 能完整识别 symmetry。所谓 detection 在很多地方其实是 relative response，而不是严格 group recovery；这不是问题，但不能被过度解读为通用 post-hoc symmetry discovery。

Relation To Prior Work

它最接近三条线：equivariant networks、symmetry discovery、weight-space models。和 equivariant networks 的差异是方向相反：不是把群结构先验写进 architecture，而是问非显式等变模型训练后哪些群结构可被读出。和 LieGG / LieSD 这类 discovery 方法的差异是观测对象不同：那些方法更多依赖数据、梯度或模型响应，本文强调 weight-level observable 的可观测边界。和 DWSNets / inr2vec / Functa 的关系是都把 INR 权重当表示，但本文关心的不是 downstream prediction，而是几何结构在权重统计中的可见性。

看似新的部分中，PE 作为 group representation 的思想并不新，GRAPE 类工作已经在做 PE 的表示论分类；Gram 抑制 permutation gauge 也不是新思想。真正新增的信息是把 PE liftability 作为 post-hoc weight readout 的上界条件，并明确指出“不可读出”可以是结构性结果，而非 detector 失败。这篇更像是把 representation theory of PE 和 weight-space observability 连接起来，而不是发明一个新的 symmetry learner。

Dataset / Evaluation

评估覆盖的是 2D SDF neural fields，多种离散对称群、三类 PE、若干 Gram observable 和 rotation / translation probes。这个设计适合验证论文的核心 claim，因为它控制了 PE 维度，并构造了 DyadicAxisPE 与 TriAxisPE 的互补 exact liftability；因此当 D4 与 D3/D6 的 readout profile 互换时，归因比较干净。

但 evaluation 仍是强控制环境：对象是合成 2D SDF，模型是固定 MLP，PE 是 Fourier-style，observable 主要是 Gram。它验证的是“在该机制链条下，PE liftability 限制 weight-level readout”，而不是“真实复杂模型的权重中可以可靠发现对称性”。没有真实世界数据、没有复杂架构、没有跨 domain deployment。benchmark 对理论 claim 是支持的，但对 generality 的支持有限。

实验没有明显 benchmark leakage 问题，因为任务不是预测标签，而是 controlled probing；更大的问题是 evaluation bias：候选变换族是预先给定的，readout 是 transform-conditioned，不是自由发现未知群。作者也承认这一点，所以不能把它当作 open-ended symmetry discovery。

Limitation

最深的限制是方法把问题从“找对称性”转移成“在给定 PE 和 observable 下判断哪些候选变换可见”。如果候选群不在测试族里，框架本身不会自动发现；如果 observable 不 symmetry-sufficient，低 score / 高 score 的语义都可能变弱。

exact liftability 是必要但不充分。IdentityPE 说明形式上可 lift 并不保证权重可读；需要足够冗余的 feature basis、训练把结构写入相关方向、observable 不丢掉关键信息。这个 sufficiency gap 文中未充分解决。

scalability 上限也不清楚。2D Fourier PE 的 group action 可以干净写成 block permutation / rotation；CNN、Transformer、3D fields、多模态模型里的“PE lift”和“权重 observable”都没有现成对应物。扩展时最难的不是实验规模，而是找到正确的结构作用 T_g。

增益来源比较清楚地来自 PE 的表示结构，而不是训练 recipe；但 approximate regime 的可分辨性理论不足。Procrustes operational lift 在非 exact 情况下可能引入 estimator-dependent artifacts，文中虽有区分，但没有完整理论说明何时 approximate score 有可靠语义。

此外，Gram readout 主要捕捉二阶结构，可能漏掉高阶或 nonlinear representation 中的 symmetry。若未来声称能用于真实模型诊断，需要证明这些 observable 不是只在浅层 Fourier-MLP 中有效。

Takeaway

• 第一，post-hoc weight interpretability 必须显式建模 observability；不能默认模型学到什么，权重读出就能看到什么。
• 第二，PE 不只是 approximation trick，也是决定内部结构可被观测的 representation interface。
• 以后设计 PE 时，可以同时考虑函数拟合能力和后验可诊断性。
• 第三，negative result 很有价值：D3 在 DyadicAxisPE 下不可见不是 detector 弱，而是 axis-separable PE 的结构上限。

一句话总结

这篇论文把神经场权重中的 symmetry readout 从“恢复真实群”的问题，重新定位为由 PE 表示能力和 observable 共同限制的结构可观测性问题，实质贡献是给 post-hoc symmetry detection 划出 representation-dependent 上界。