精读笔记
Problem Setting
这篇论文实际处理的是函数空间优化中一个长期尴尬的问题：FGD 理论上漂亮，但实现时 functional gradient 通常是无限维对象，不能完整计算、存储或更新；一旦把它投影到固定有限维表示，就等价于解一个带表示 bias 的近似问题，最终会停在 resolution-dependent error floor。
真正的矛盾是：函数空间方法想保留 Hilbert 几何下的下降性质，但工程实现又必须离散化；固定离散化会破坏“优化原问题”的含义。作者不是在重新定义回归/PDE/NeRF 任务，而是在问：能否让离散表示本身随优化过程变化，同时仍然证明每一步是在原 functional loss 上做有效下降？
Motivation
神经网络参数化路线的问题不是“表达能力不够”，而是它把函数优化问题换成了高度非凸的参数优化问题，理论上很难说清训练动态；固定基/固定网格的 approximate FGD 则相反，优化简单但 approximation bias 固化。
作者的核心观察是：FGD 收敛证明真正需要的不是 exact gradient，而是一个足够下降的方向。如果 approximate gradient 与 true functional gradient 的相对误差可以被控制，那么 exactness 可以被替换成 error certificate。缺口在于以往 approximate FGD 很少把这种误差显式纳入 end-to-end 收敛分析，更少给出每步可计算的 refine 判据。
Core Idea
核心思想很简单但有效：不要预先选定一个固定表示，而是在每个 FGD step 中先尝试用当前表示近似 functional gradient，计算一个关于近似误差的上界；如果该上界相对当前近似梯度范数太大，就细化表示，直到满足相对误差条件再执行更新。
本质区别在于它把 representation capacity 从静态超参数变成优化过程中的 adaptive resource。这里引入的 inductive bias 是“先用粗表示捕捉大尺度下降方向，只有当粗表示不足以保证下降时才增加自由度”。这类似 continuation / multiresolution curriculum，但论文把它包装成有证书的 inexact FGD，而不是经验性的 coarse-to-fine schedule。
Method
1. Hilbert-to-Banach 扩展：理论梯度定义在 Hilbert 空间 H，但实际近似可以落在更宽松的 Banach 空间 B。这样允许用树、piecewise constant grid、体素等不一定属于原 Hilbert 空间的表示。这个设计解决的是“可计算表示”和“理论梯度空间”不一致的问题，但代价是需要额外 compatibility 假设。
2. 相对误差下降条件：论文定义 RelErr(g, ∇L(f)) = ||g-∇L(f)||_B / ||g||_B，并证明当该误差足够小且步长满足条件时，loss 有充分下降。这里关键是分母用 ||g||，因为这是可计算量；否则用 true gradient norm 会使算法不可实现。
3. 自适应 refine loop：每步维护一个当前表示，计算 approximate gradient g 和误差上界 U；若 (1+ε)U < ε||g||_B，则接受该梯度，否则细化表示。这个机制保证 while loop 终止的前提是存在一列表示使误差上界趋零。
4. 收敛结论：smooth loss 下得到到 stationary point 的 O(1/T) 型结论；额外 PL 条件下得到线性收敛到 global minimizer。注意这里的 global convergence 不是对任意非凸 functional objective，而是依赖 PL-type structure。
Key Insight / Why It Works
最重要的 insight 是：固定表示失败的根因不是近似本身，而是近似误差没有随优化状态收缩。当梯度范数变小时，固定 resolution 的绝对误差会变成主导项，导致方向不再可靠并出现 plateau。自适应方法通过控制相对误差，强制 approximation error 与当前 descent signal 同阶下降，因此不会在接近解时被离散化误差卡住。
真正核心贡献是把“表示精度”与“下降充分性”绑定，而不是提出某个特定表示。树、频域网格、体素/球谐都只是满足该误差证书的实现容器。换句话说，这篇论文的机制更像 adaptive discretization + inexact oracle 的无限维版本，而不是新的函数表示学习方法。
它有效的原因主要是 representation alignment 和 curriculum：早期粗表示足够捕捉大梯度方向，避免过早支付高分辨率成本；后期 refine 消除 error floor。这不是 retrieval、不是数据覆盖，也不是 test-time compute；更接近 multiresolution optimization with certified inexact gradients。实验中相对 NN 的优势很可能部分来自问题结构与表示强匹配，例如 PDE 用 Fourier grid、radiance field 用 voxel/spherical harmonics，本质上给了非常强的 inductive bias。NN baseline 的劣势不应被解读为神经网络路线普遍失败。
文中较弱的一点是 radiance-field 任务：loss 本身高度非凸，论文的 global convergence 理论并不能直接解释该实验增益。这里更可能是 coarse-to-fine voxel representation、full-batch-ish update 和任务工程共同带来的优势，而不是 PL 理论在起作用。增益来源不完全清楚。
Relation To Prior Work
它最接近三条线：inexact gradient methods、adaptive discretization / multiresolution numerical optimization、以及 approximate functional gradient methods。和经典 inexact oracle 的区别是它在无限维函数空间里处理梯度对象，并允许 true gradient 在 Hilbert 空间、approximation 在 Banach 空间。和传统 adaptive mesh / multigrid 的相似点很明显：逐步提高离散精度；不同点是 refinement 的触发条件来自梯度相对误差证书，而不是 PDE residual 或 mesh estimator。
相对已有 approximate FGD，真正新增的信息是把近似误差显式放进 descent proof，并给出一个可执行的接受/细化准则。相对 kernel representer theorem，它不依赖有限样本下梯度天然有限维的特殊性。相对神经网络函数参数化，它没有优化固定参数空间，而是直接维护函数更新方向。
但也要直说：adaptive representation 不是概念上全新，coarse-to-fine、basis refinement、mesh refinement 都是老思想；论文的实质创新在于把这些思想与 relative-error inexact FGD 结合，并在 Hilbert/Banach 框架下给出较一般的收敛条件。
Dataset / Evaluation
实验覆盖三类任务：RKHS 回归、波方程 PDE、radiance field。这个选择有一定代表性：一个统计学习问题，一个科学计算问题，一个现代视觉/图形问题。它们共同验证了固定表示会出现误差地板，而 adaptive refinement 能继续下降。
但 evaluation 对核心理论 claim 的支持是有限的。回归和 PDE 比较贴近理论条件，能较好展示机制；radiance field 更像展示工程可用性，理论解释弱。任务规模总体不大，真实大规模 deployment 没有被充分验证。NN baseline 虽做了 Fourier features 等工程，但是否达到强 baseline 水平文中未充分说明；尤其在 PDE 和 NeRF-like 任务中，专门的数值方法/现代 radiance-field 方法可能比通用 MLP 更合适。
因此实验足以支持“自适应表示优于固定近似 FGD”这一核心机制，但不足以强支撑“普遍优于神经网络基线”这种宽泛说法。
Limitation
最大限制是误差证书。算法成立依赖能够计算 tight upper bound U(g, ∇L(f))，并且存在可细化表示使 U → 0。许多高维 ML 目标没有解析 functional gradient，也没有廉价的 sup/L2/Sobolev 误差上界；这时方法会退化成难以自动化的手工数值分析。
第二，Hilbert-to-Banach 桥接假设并不免费。Extension、K-smoothness、H descends in B、gradient compatibility 在论文示例中可以验证，但对一般任务未必自然。特别是 B 的选择会同时影响误差度量、下降常数和可计算性；选错 B 可能理论成立但常数极差。
第三，scalability 上限不清。adaptive refinement 本质上仍然可能遭遇维度灾难；当梯度含有高频、局部尖峰或复杂非局部结构时，表示规模可能迅速膨胀。论文没有给出 refinement complexity 与目标函数正则性之间的系统关系。
第四，实验中部分优势可能来自强 inductive bias 而不是 FGD 框架本身：PDE 的 Fourier 表示、radiance field 的 voxel/spherical harmonics 都高度贴合问题结构。所谓 generality 在理论形式上成立，但实际每个任务都需要定制 gradient formula、representation 和 error bound；方法并不是 plug-and-play。
第五，global minimizer 结论依赖 PL-type 条件。对 radiance field 这类非凸逆问题，理论无法覆盖核心难点。这里的收敛表现更像 good engineering + coarse-to-fine bias，而不是理论保证的直接体现。
Takeaway
- 1. 最值得迁移的是“用相对误差证书驱动表示自适应”，而不是具体树/网格/球谐实现。
- 很多函数优化、算子学习、隐式场景表示问题都可以借鉴这个接受/细化范式。
- 2. 固定表示的 error floor 可以被视为 inexact gradient error 没有随梯度范数缩放；解决它的原则是让 approximation fidelity 跟随 optimization state，而不是盲目从一开始使用高分辨率。
- 3. 这篇论文把 adaptive discretization 和 modern functional optimization 重新连接起来。
一句话总结
这篇论文把自适应离散化改写成带相对误差证书的可实现 FGD，为无限维函数优化提供了一个比固定近似更可靠的 inexact-gradient 框架，但其实用边界主要由误差上界是否可构造决定。