精读笔记

Problem Setting

《Global Convergence and Error Propagation in Neural Gradient Flows: A Riemannian Optimization Framework》（arXiv / 2026）研究的是 neural network parametrization of MMS：外层是 Hilbert 空间中强凸能量的 minimizing movement / proximal 迭代，内层用神经网络近似每个 proximal step。问题的本质不是 MMS 收敛——经典理论已经解决；真正的问题是 neural parametrization 把一个函数空间强凸子问题变成参数空间非凸优化，导致常规 GD/Adam/L-BFGS 很难获得全局子问题收敛保证。

论文试图解决两个层级的问题：第一，单个 neural MMS 子问题在什么几何条件下可以被全局求解；第二，内层有限时间误差和神经近似误差如何在外层 MMS 中累积。关键矛盾是：函数空间中有强凸和 proximal contraction，但参数空间中没有凸性；如果直接在 w 上分析，基本会陷入标准神经网络非凸困难。作者的选择是绕开参数空间凸性，改在网络 image 的局部流形上恢复强凸结构。

Motivation

已有路线的不足在于它们通常依赖某种极限或宽度假设。NTK 依靠过参数化和 kernel 冻结，mean-field 依靠无限宽分布动力学，这些都不能解释固定有限网络、局部 feature-learning 式训练下的几何行为。Cayci 2025 已经指出 GN 可被解释为函数空间子流形上的 Riemannian gradient flow，但主要是单子问题、有限维 setting，缺少 MMS 这种多步 variational dynamics 中的误差传播。

作者的核心动机是：MMS 的 proximal 项天然把每一步限制在当前函数附近，因此“全局非凸参数空间”并不是必要分析对象；真正相关的是当前参数附近的网络 image。只要这个局部 image 是一个良性嵌入流形，且下降轨迹不会跑出局部 chart，那么强凸函数空间目标的结构就有机会沿 geodesic 继承下来。缺口正是：如何把这一局部 Riemannian picture 和外层 proximal contraction 组合成一个多步全局 tracking 理论。

Core Idea

核心思想可以压缩成一句话：每个 neural MMS step 不是在参数空间求非凸最小化，而是在 Hilbert 空间中由当前网络参数诱导的“增量流形”上求 geodesically strongly convex 的 Riemannian 优化问题。设 h = u_NN(w) - u_NN(w_n)，子问题目标为 g(h; u_n)=||h||^2/(2τ)+F[u_n+h]。在局部非退化下，w 附近的 h 集合是一个嵌入子流形；GN 预条件化正好等价于把 ambient gradient 投影到该流形切空间。

这个转换的本质区别在于：它不试图证明参数目标没有坏局部极小，而是证明下降轨迹所在的局部函数流形上，目标在 geodesic sense 下是强凸的。MMS proximal 项提供 locality，Jacobian 非退化提供 chart/inverse stability，Jacobian Lipschitz 控制曲率，输出隔离防止远处参数产生近似相同输出。组合起来，参数非凸性被替换成“局部嵌入流形曲率是否足够小”的问题。这是一个更几何、更局部、也更适合固定有限宽网络的表述。

Method

第一，局部增量流形。作者定义 M(u_NN(w_n))={u_NN(w)-u_NN(w_n): ||w-w_n||<r}。它解决的是 neural model class 非线性、非线性子空间的问题；通过把每步写成 increment，可以在当前点附近建立一个无边界嵌入流形，而不是处理整个网络 image。

第二，Gauss–Newton = Riemannian gradient。切空间是 Im(Du_NN(w))，正交投影是 Du(Du^*Du)^{-1}Du^*。参数空间 flow dw/dt=-(Du^*Du)^{-1}Du^*∇g 经网络映射后就是 dh/dt=-P_h∇g。这一步的核心变化是：GN 不再只是二阶近似，而是 intrinsic steepest descent。

第三，interior localization。仅有流形结构不够，因为开 chart 有边界，曲率也可能失控。论文用 proximal 能量下降 + 输出隔离半径证明下降子水平集留在内球 K 中，避免轨迹碰到 chart 边界。这是理论能闭合的关键，但也是最强假设之一。

第四，geodesic convexity / strong convexity。ambient 目标 g 在 Hilbert 空间中强凸；限制到曲流形后会出现 curvature correction。论文用 projector differential bound ||DP|| ≤ 2L/λ^2 控制该 correction，并用 data condition C(v)≤1 保证 Hessian 下界仍为 ν/2。这一步把函数空间强凸转移成局部流形强凸。

第五，MMS error propagation。单步内层误差指数衰减后，外层 exact proximal map 的 contraction ρ=1/(1+τm_F) 吸收误差，得到 uniform δ tracking。这里真正起作用的是 proximal contraction，而不是神经网络本身。

Key Insight / Why It Works

最重要的 insight 是：GN 的有效性来自 representation alignment，而不是简单的二阶加速。普通一阶方法在参数空间下降，方向可能大量浪费在对函数输出无效或几何不良的参数方向上；GN 通过 (J^*J)^{-1}J^* 实际上在函数空间切平面中做最速下降，自动消除了参数化造成的尺度和局部坐标扭曲。这解释了为什么实验中 GN 的 trajectory tracking 明显优于能量下降类似的 Adam/L-BFGS：MMS 关心的是跟随 exact Hilbert-space proximal trajectory，而不是只把 empirical energy 降低。

单步收敛成立的核心不是“神经网络目标变凸了”，而是三件事同时成立：proximal 项让可达 minimizer 小；Jacobian 非退化把函数小位移转化为参数小位移；曲率 correction 被 L/λ^2 控制。换句话说，论文的强凸性不是全局性质，而是由小步长和局部良性几何人工制造出来的。这个机制很清楚，也很脆弱。

最可能是真贡献的部分是：把 Cayci-style GN/Riemannian 解释嵌入 MMS，并给出多步误差传播。单步 geodesic convexity 证明虽然技术重，但依赖条件很强；更可迁移的是“inner solver 的结构兼容性必须以外层 variational scheme 的 trajectory error 来评价”，而不是只看子问题 energy。

哪些可能只是辅助：实验中 GN 更快、更低 energy 的部分有相当多 engineering 成分，包括 CG、line search、LM damping、inner iteration 数量对比等。尤其过参数化实验使用 damping 后，已经偏离精确理论；增益来源可能来自更强 test-time compute / better conditioning，而不是论文严格证明的 Riemannian flow。latent diffusion 实验规模很小，更多说明 GN 可用，不足以说明生成模型训练理论突破。

Relation To Prior Work

最接近的是 Cayci 2025 的 Gauss–Newton / Riemannian optimization view：GN 在网络函数 image 上诱导 Riemannian gradient flow。本文的实质新增在于把这个观点放进 MMS 框架，使用 increment manifold 而不是整个网络 image，并进一步分析多步 error propagation。这一点是有新增信息的：MMS 的 proximal contraction 提供了一个天然稳定机制，使单步 inner-solver residual 可以被外层吸收。

与 NTK 路线的本质区别是：本文不依赖无限宽或 kernel freezing，rate 也不由 NTK λ_min 直接控制，而是由 geodesic strong convexity ν 和局部几何条件 L/λ^2 控制。但要注意，这不是无条件 fixed-width global convergence；它把 overparameterization 假设替换成了局部非退化、输出隔离和 warm start 条件。

与 mean-field 路线相比，它不描述宽度极限下的分布演化，也不真正刻画 feature learning 的全局 landscape；它更像是局部 differential geometry + proximal stability。与 classical Galerkin/FEM 的区别在于 trial set 非线性，强凸性不会自动继承；本文的 geodesic convexity 证明正是在补这个缺口。

看似新的地方中，GN 作为投影/自然梯度的几何解释并非全新；真正的新组合是：increment formulation + strict localization + MMS contraction chaining。它属于“variational time discretization + Riemannian optimization + neural function parametrization”这条谱系，而不是传统 deep learning generalization / scaling law 论文。

Dataset / Evaluation

实验覆盖了简单 nonlinear regression、under/overparameterized regression、MNIST one-hot MSE、以及小型 latent diffusion。任务覆盖面看起来较广，但本质大多是 least-squares / regression 结构，正好匹配 GN 和理论中的 L2 强凸设定。MNIST 分类也被改成 one-hot MSE，而非 cross-entropy；latent diffusion 的 score matching 也是回归。因此 evaluation 主要验证的是“GN 适合作为 least-squares neural MMS inner solver”，不是一般神经训练。

最能支持核心 claim 的实验是 trajectory tracking：对有 closed-form MMS reference 的回归问题，GN 的函数空间轨迹误差更小。这确实比只看 final energy 更贴近论文理论。其他实验更多是在展示 GN 的实用竞争力：少量 GN inner steps 可以达到或超过大量一阶 optimizer steps。但这些实验没有验证 geodesic convexity、输出隔离、injectivity radius，也没有系统 ablation LM damping / CG tolerance / line search 的影响。

benchmark 规模偏小，latent diffusion 是 toy-level optimization diagnostic，不应解读为生成模型训练突破。CPU time 在 MacBook / ASUS 小规模实现上报告，有参考价值但不是 scalability 证据。总体上，实验支持方法作为结构兼容 inner solver 的 plausibility，但没有强到足以验证理论假设或泛化到大规模 deployment。

Limitation

这篇论文的理论成立依赖一组很强的隐含前提。第一，F 需要强凸且 smooth；这排除了大量深度学习常见目标，也弱化了“神经网络全局优化”的外延。第二，分析主要适合 L2 型函数值目标；对 H1/PDE 能量，Jacobian Lipschitz 常数可能随网格尺度爆炸，作者也承认这一点。第三，网络必须 C^2 且局部 Jacobian 非退化；ReLU 不在理论内，过参数化下 J^*J 必然奇异。

最关键的脆弱点是 locality / output isolation / injectivity radius。输出隔离本质上要求远处参数不能产生接近当前输出的函数，这与神经网络常见对称性、冗余参数、overparameterized flat directions 有冲突。文中通过局部或 quotient 直觉解释，但未充分说明在真实网络中如何验证。Assumption 23 的 trajectory uniformity 也很强：它要求沿整个轨迹非退化、data condition、输出隔离、injectivity radius 都保持。Theorem 33 试图用小初始 gap 证明部分 uniformity，但仍带有 warm-start / local basin 性质，不是冷启动全局保证。

实际算法与理论也有明显缝隙。理论分析的是连续 RGF 或 exponential-map RGD；实验用的是 Euler、CG、line search、LM damping。尤其 LM damping 改变了 metric，过参数化实验与精确理论不一致。文中对 inexact linear solve / damping 只是 remark，未给严谨定理。因此实际增益来源不完全清楚：可能来自更好的 conditioning 和更高 per-step compute，而不完全是已证明的 Riemannian gradient flow。

神经近似误差 epsilon 被作为 Assumption 21 打包处理，未由架构、样本数、quadrature 误差推出。这意味着 trial-space / sampling 这两个最实际的误差来源被外置了。若 epsilon>0，参数空间 Cauchy 收敛只在有限 horizon 或近似意义下成立；长期可能 drift。这个限制很实质。

Takeaway

• 1. 最值得迁移的 insight：对于 neural variational schemes，评价 inner optimizer 不应只看 energy decrease，而应看是否沿正确的函数空间 trajectory 前进；GN 的优势来自函数空间几何对齐。
• 2. MMS/proximal structure 是把非凸神经参数化变得可分析的关键工具：小步长 + contraction 可以把局部几何结果拼成全局 tracking bound。
• 未来很多 neural PDE / scientific ML 理论可能会走这条路线，而不是直接分析端到端非凸训练。
• 3. 这篇论文真正推动的是“固定有限网络的局部 Riemannian optimization theory”，不是大规模 deep learning 的无条件全局收敛。

一句话总结

这篇论文把 neural MMS 的内层非凸训练重新表述为局部增量流形上的 Riemannian/Gauss–Newton 优化，并用 proximal contraction 串起多步误差传播，是一篇强假设下的固定有限网络几何收敛框架，而不是一般神经网络训练的全局收敛定理。