精读笔记

Problem Setting

[论文标题] Convergence of Gradient Descent for General Neural Network Architectures Beyond the NTK Regime（arXiv preprint / 2026）

这篇论文实际处理的问题是：如何在一般现代神经网络架构上证明 full-batch GD 的非线性训练轨迹不会失控，并能收敛到驻点邻域，而不是停留在 NTK 的 lazy linearization。核心矛盾是，经典非凸优化需要 PL-type 条件和 smoothness 条件，但神经网络损失通常二者都不全局满足；而现代架构又是由 residual、normalization、attention、FFN、composition 组成的异质系统，无法像两层网络那样逐项展开分析。以前方法卡在两个地方：NTK 需要极宽网络和近初始化运动，feature-learning 理论又往往依赖特殊结构或极限模型。本文的目标不是解释泛化，也不是证明实践训练必然全局最优，而是给“真实非线性 GD 轨迹 + 广义架构族”一个可证明的收敛框架。

Motivation

作者的动机不是再做一个更宽的 NTK bound，而是绕开 NTK 证明中最重的假设：统一正定 kernel、极小学习率、参数不远离初始化。核心观察是：对复杂网络，要求 objective 全局满足 PL / Lipschitz smoothness 太强；但如果网络映射是 analytic，很多退化事件本身是测度零的，非退化可以用 generic argument 获得。另一方面，smoothness 不必全局成立，只要能沿 GD 轨迹成立即可。于是缺口变成：如何用 block-level regularity 加一个局部动力学条件，把一般架构的训练轨迹限制在可控区域内，并在每个迭代点获得足够下降。

Core Idea

本文最核心的建模变化是：不再把网络固定在线性化 kernel 上，也不直接假设损失景观满足全局优化条件，而是把训练分析拆成“generic nondegeneracy”和“trajectory-local regularity”两部分。前者通过 analytic zero-set / measure-zero argument 证明 stacked Jacobian 在几乎所有参数和数据上满行秩，从而得到依赖当前 iterate 的 PL-type inequality；后者通过 polynomial generalized smoothness 和 local relaxed dissipativity 证明 GD 轨迹留在一个局部球里，因此局部 smoothness 常数可控。

这和 prior 的本质区别在于：NTK 是固定初始化附近的线性模型，本文分析的是实际 nonlinear map 的迭代点；传统非凸优化是假设 objective-level PL / smoothness，本文把这些条件下沉到 architecture block 和 analytic genericity。它引入的 inductive bias 不是某个模型结构，而是一种理论组织方式：用 residual / composition 的 generic full-rank 性质来保证非停滞，用多项式闭包来保证复杂模块组合后仍可控。

Method

1. Polynomial generalized smoothness：解决复杂架构无法验证全局 Lipschitz smoothness 的问题。它把 smoothness 写成参数范数的多项式控制，并证明对加法、乘法、复合封闭，因此 attention、normalization、FFN、residual composition 可以在同一语言下处理。核心变化是从 objective-level assumption 变成 block-level verifiable condition。

2. Analytic nondegeneracy / measure-zero argument：解决 PL 条件不全局成立的问题。只要某一层的样本 Jacobian 存在一个满行秩 witness，analyticity 保证 rank degeneracy 是测度零事件。于是沿 GD 轨迹可以得到 ∥∇L∥² ≥ 2µlow,s,X L / N，其中 µlow,s,X 依赖迭代点。核心变化是从 uniform PL 变成 iterate-dependent PL。

3. Local relaxed dissipativity：解决 GD 轨迹可能跑出局部 smoothness 区域的问题。这个条件比较 gradient 方向和指向某个 stationary point 的方向，用来证明 iterates 被限制在半径 R 的局部球里。它本身很弱，甚至 C1 函数在给定阈值下都可满足，但代价是常数可能很差。

4. Learning-rate interpretation：作者进一步用 Xavier 初始化的参数范数集中，推导学习率尺度由 depth 和 effective bottleneck dimension 控制，而不是由最大宽度控制。这个部分更像 scaling interpretation，而不是主证明的核心。

Key Insight / Why It Works

真正有效的部分是 analytic genericity + frame lower bound。只要 stacked Jacobian 满行秩，平方损失的 residual 必然通过 Jacobian 反映到参数梯度上，于是 loss 不会在非零 residual 处完全“看不见”梯度。这就是 PL-type inequality 的来源。它不是传统意义上的 landscape curvature 条件，而是一个输出 residual 到参数梯度的可观测性条件。

第二个关键是把 smoothness 限制在轨迹上。神经网络全局非 Lipschitz 或 smoothness 常数爆炸并不致命，只要训练轨迹被 dissipativity 控制在某个球内，多项式 smoothness 就给出有限局部常数。这是证明 GD descent 的必要桥梁。

我认为最实质的贡献是把“rank nondegeneracy 是 generic 的”系统地接到 GD 收敛证明里，并将其提升到一般 block architecture。相对而言，Xavier 下学习率尺度不依赖最大宽度的说法更像对 bound 的 interpretation，依赖 polynomial exponent 和局部常数，实际 tightness 文中未充分说明。Residual connection 的解释也偏结构性：identity perturbation generically restores nondegeneracy 这个 insight 有价值，但还不是对真实 residual training 优势的完整解释。

这不是 scaling、retrieval、data coverage 或 representation alignment 型工作；它本质上是优化理论中的 generic nondegeneracy + local trajectory control。若把它用于解释实践大模型训练，增益来源不清：证明对象是 deterministic GD，且没有处理 stochasticity、adaptive optimizer、normalization 的实际数值行为或 generalization。

Relation To Prior Work

最接近的谱系有三条：NTK 收敛理论、overparameterized nonlinear systems 的 PL / no-spurious-landscape 分析、以及 generalized smoothness 下的非凸优化。和 NTK 的本质差异是，本文不要求训练停留在初始化线性化附近，也不要求所有层极宽；它只需要某个层级的非退化宽度条件，例如靠近输出的 FFN hidden width 大于 Nd。和 feature-learning 理论相比，它更 general，但也更弱：没有刻画 representation 如何演化，只证明不会停滞到坏区域外。

看似新的部分中，polynomial smoothness 本身是 generalized smoothness 思路的架构化重写；measure-zero analytic argument 也不是新数学工具。实质创新在于把这些工具组合成一个适用于 compositional neural architectures 的 GD 收敛框架，并明确把 PL 常数改成 iterate-dependent lower frame bound。Residual / composition 的 nondegeneracy 解释是有迁移价值的，但更像把已有 analytic genericity 观点用于现代架构，而非发现新的训练机制。

Dataset / Evaluation

这篇基本没有经验实验，evaluation 是理论覆盖范围和 scaling corollary。覆盖的“任务”是 supervised finite dataset 上的平方损失训练；数据假设是输入联合分布对 Lebesgue 测度绝对连续，用来排除退化输入配置，不涉及真实 benchmark、多任务、OOD 或部署场景。

理论上它覆盖 feedforward、convolution、attention、pre-normalized transformer 等由 analytic blocks 构成的架构，这支持“framework generality”的 claim。但它没有验证 practical optimizer、真实大模型、随机训练或泛化性能。因此 benchmark 层面并不能支持任何“解释实际 transformer 训练表现”的强结论；它支持的是一个数学 statement：在这些架构满足假设时，full-batch GD 可收敛到近似驻点。

Limitation

1. 结论强度有限：主结果是收敛到 ∥∇L∥≤ϵL 的区域，不是全局收敛。Theorem 2 的 global minimum 是 landscape statement：如果 exact stationary point 不在坏集合中，则为 global minimizer；这并不说明 GD 会到达这样的点。

2. µlow,s,X 没有定量下界：它只保证正，可能沿训练趋近 0。这样收敛速率可能很慢，甚至 bound 在实践上不可用。文中未充分说明它在真实架构和真实数据上如何规模化。

3. Local dissipativity 是双刃剑：形式上很弱，但常数 ρ 可由 r/ϵ 给出，可能随阈值变得很大，导致 R 和 smoothness constant 变差。它把“轨迹不发散”的问题转移到局部几何常数上。

4. 架构假设仍有选择性：需要 analytic activations / smoothed normalization；ReLU 这类非解析模块不直接覆盖。Assumption 4 需要某层宽度超过 Nd，本质上仍是样本数相关的 overparameterization，只是比 NTK 弱。

5. 与实践训练有鸿沟：没有 SGD noise、Adam / Muon、weight decay、schedule、batch norm running statistics、finite precision。所谓 regular learning rate 的尺度解释依赖非常粗的 polynomial bound，实际 tightness 增益来源不清。

6. Beyond NTK 不等于 feature learning theory：本文允许非 lazy 轨迹，但没有解释特征为何变好、隐式偏置是什么、泛化从何而来。

Takeaway

• 1. 最值得迁移的 insight 是：对复杂神经网络，很多“坏 rank / bad Jacobian”事件可以不正面刻画，而用 analyticity + measure-zero genericity 排除；这适合用于证明非停滞或可观测性。
• 2. 把 smoothness 从 global objective assumption 下沉到 block-level polynomial closure 是有用的理论工程：它让 transformer-like 架构能进入统一优化证明，但代价是常数粗、定量弱。
• 3. 未来真正有价值的是把 µlow,s,X 定量化，并将 local dissipativity 替换成可由数据、架构或 optimizer 推出的条件；否则该框架更像 existence-level convergence theory。
• 4. Residual connection 的一个干净理论角色是 generic nondegeneracy restoration，而不只是改善梯度流；这个观点可迁移到设计可逆 / 满秩 / 非塌缩的 deep composition。

一句话总结

这篇论文在 NTK 与真实复杂架构训练之间提供了一个 generic nondegeneracy + trajectory-local smoothness 的收敛框架，真正贡献是把一般网络的 GD 收敛证明从全局景观假设转向 analytic measure-zero 与 block-level regularity。