精读笔记

Problem Setting

FiRe 实际解决的是 periodic INR 在有限训练预算下的优化速度问题，而不是表达能力不足问题。SIREN/FINER 已经能表达高频，但高频方向在训练早期仍然收敛慢；全局 ω0 或 pre-activation chirp 只能粗粒度改变频谱，不能保证每个局部/每个神经元的频率相关梯度方向都容易被优化。以前方法的卡点在于：提高频率会带来稳定性和归因问题，加宽模型会混入 capacity，固定 Fourier / harmonic 频率又缺少输入依赖。任务的关键矛盾是，想让高频更快学到，但不能简单靠“更多高频”或“更多参数”来解释。

Motivation

作者的动机是把 frequency control 从 activation 设计和主权重路径中剥离出来。已有路线缺的不是再造一个更复杂的 periodic function，而是一个能在不改变 realized frequency 和参数预算的前提下，单独改变优化几何的机制。核心观察是：频率尺度即使在 forward 上是常数，也可以在 backward 上提供额外梯度方向；也就是说，一个看似 inert 的 gate 可以作为重参数化预条件器。这个缺口很具体：以往很多 INR 频率方法没有排除 global frequency boost 和 parameter scaling，导致“为什么有效”其实不清楚。

Core Idea

FiRe 的真正核心是 frequency reparameterization-as-preconditioning：把每个周期神经元的频率尺度写成一个 bounded、input-dependent、low-rank gate，并让它独立于 carrier weights。这样 forward 表达仍是普通 periodic INR 的变体，但 backward tangent space 被扩展。

它引入的新 inductive bias 不是“更多频率”本身，而是“频率变化应该通过一个低秩、坐标相关、与信号路径解耦的通道来组织”。相比 FINER 这种把频率 envelope 绑在 pre-activation 上的方式，FiRe 的差别在于 gate path 是独立参数块，因此可以在 NTK 中形成额外 PSD kernel block；相比 Fourier features，它不是固定输入编码，而是训练中的参数化频率通道；相比 spatial mask，它调的是 oscillation scale 而非 amplitude/support。

Method

方法里真正必要的是三层控制。第一，per-neuron bounded gate 解决无约束频率学习不稳定的问题，同时让每个 neuron 可以有坐标相关的 effective frequency。第二，low-rank gate path 解决参数开销和结构化调制问题；rank 不是为了大容量，而是为了提供少量 coherent tangent directions。第三，wscale control 与 parameter-matched baseline 是机制识别的关键：初始化时抵消 gate 常数带来的频率放大，并让 baseline 加宽到同等参数量。FiRe 的主要变化不是 forward function class，而是参数空间坐标和梯度流形。

Key Insight / Why It Works

最核心的 insight 是：forward 等价不代表 optimization 等价。FiRe 初始化时 gate 基本不改变函数值，但 gate 参数对输出有非零导数，因此 NTK 从 carrier-only 变成 Kc + Kg。由于 Kg 是 PSD block，加入后不会降低 NTK eigenvalues，并提高 trace；如果这些新增方向不完全落在 Kc 的主特征方向上，就会提高 effective rank，使更多误差方向在早期以较大速率衰减。

我认为这篇论文最有价值的部分不是 low-rank sigmoid gate 这个模块，而是把 FiRe 明确定位为 implicit preconditioner，并用 matched-frequency / matched-parameter 控制把这个 claim 隔离出来。真正有效的原因更接近 better optimization geometry / representation alignment，而不是 scaling、retrieval、data coverage 或 test-time compute。辅助部分包括 bounded gate、rank sweep、frequency stability logging；它们主要是为了排除混杂。需要警惕的是，effective rank 增加本身不是理论必然，文中只是经验观测；因此“NTK predicts trends”应理解为合理机制解释，而不是完整因果证明。

Relation To Prior Work

FiRe 最接近三条线：SIREN/FINER 的 periodic activation INR，Fourier/weight reparameterization 的优化几何路线，以及 spatially adaptive / low-rank gating 的调制路线。它不像 SIREN 那样换 activation，也不像 FINER 那样把 local frequency 写进同一 pre-activation 函数；它把频率调制变成独立参数路径，从而在 NTK 上有干净的 additive decomposition。

看似新的地方，如 per-neuron frequency、low-rank factorization、sigmoid gate，其实都不是单独新概念；实质创新在于把它们组合成一个 forward-frequency-matched 但 backward-geometry-different 的重参数化，并严肃控制 frequency 和 parameter confounder。它属于“通过过参数化/重参数化改变训练动力学，而非扩大函数类”的技术谱系，和 weight norm、deep matrix factorization、Fourier reparameterized training 的精神更接近。

Dataset / Evaluation

评估覆盖了 DIV2K 与 Kodak 的 2D image fitting，任务范围较窄但与 claim 基本匹配：如果论文只声称 periodic INR 的短预算拟合加速，那么这些实验足以验证主要现象。实验设计里最强的是 paired comparison、multi-seed、parameter matching、wscale、long-budget crossover、frequency stability logging，这些都直接服务于归因。

但 evaluation 不能支持更广泛的泛化结论。没有 3D SDF、NeRF、inverse rendering、sparse observation、non-uniform sampling 或真实部署场景；也没有证明 gate 在下游任务中改善 generalization，而只是改善同一坐标集上的 fitting dynamics。最佳 PSNR running maximum 与 instantaneous PSNR 的差异也说明，一部分 reported gain 是“更早到达峰值”而不是“最终更好”。这对短预算 INR 是合理指标，但不能被解读为模型本质更强。

Limitation

FiRe 的成立依赖几个前提：优化而非容量是瓶颈；训练预算有限；periodic INR 的 realized frequency 可以被稳定匹配；gate 的新增 NTK directions 与 carrier directions 足够不重合。若 baseline 足够宽、训练足够久或 FINER-rank8 这类 capacity 已经覆盖 gate 带来的方向，增益会消失。

理论上，K = Kc + Kg 只说明 eigenvalue/trace 单调，不说明有效秩必然提高；effective-rank 与高频收敛之间也依赖 lazy-regime 近似。文中未充分说明 Adam、finite width、非 lazy 训练后期如何影响该机制。scalability 上，低秩 gate 在 2D 坐标上很便宜，但到高维、深层、多场景或 ray-conditioned fields 中，它可能变成另一种调参负担。泛化也没有被真正证明；目前更准确的说法是 training-time acceleration，而不是 representation generalization。

Takeaway

• 第一，INR 频率方法以后需要更严格地区分 frequency increase、capacity increase 和 optimization reparameterization，否则机制 claim 很容易虚高。
• 第二，forward function class 不变但 backward tangent space 扩大的设计很值得迁移，尤其适合短预算、频谱收敛不均衡的 neural field。
• 第三，低秩 gate 的价值不在表达容量，而在以很小开销注入结构化、off-axis 的梯度方向。
• 第四，未来更有意义的方向不是继续堆复杂 periodic activation，而是按目标频谱/采样模式主动设计 preconditioning gate，并在 SDF/NeRF 等非平凡观测模型中验证。

一句话总结

FiRe 是一篇把 periodic INR 的频率调制重新解释为优化预条件化的工作，真正贡献在于用受控实验和 NTK 分解说明“重参数化频率”能加速早期高频拟合，但它不是新的 asymptotic 表达能力提升方法。