精读笔记

Problem Setting

《A Geometric Characterization of the Stationary Plateau for Two-Layer Neural Networks》（arXiv preprint / 2026）研究两层光滑激活网络中，由 neuron splitting 产生的 stationary plateau 的精细局部类型。

实际问题不是“splitting 是否保持 stationary”，而是：窄网络一个 stationary point 被嵌入到更宽网络后，整条由 splitting coefficients λ 参数化的仿射 plateau 上，哪些点仍是 local minima，哪些点变成 saddles。这个问题比普通 critical point 分类更微妙，因为 plateau 本身是函数值不变的退化集合，沿 plateau 切向 Hessian 必然有零方向；真正决定性质的是离开 plateau 的横向非对称 perturbations。

以前 embedding principle / splitting 相关工作主要能证明 stationarity preservation 或给出 saddle 存在的 sufficient condition，缺少对 coefficient space 的完整几何分区。关键矛盾是：splitting 在函数层面完全不改变模型，但在参数层面增加了 daughter neurons 之间的自由度；这些自由度既可能只是 reparameterization 的 flat directions，也可能引入真实下降方向。本文要判定的正是这两者的边界。

Motivation

已有路线不够的地方在于，它们把 stationary plateau 当作宽网络退化性的一个现象，而没有回答 plateau 内部的局部几何如何随 λ 改变。对于理解“宽度如何消解坏局部极小”而言，知道存在一条 plateau 远远不够；需要知道 widening 后原来的 local minimum 是否仍然全局部稳定，还是某些 coefficient choices 已经暴露 escape directions。

作者的核心观察是：daughter neurons 的非对称扰动可以设计成一阶输出变化相互抵消，此时 loss 变化的主导项变成 residual 与 neuron 二阶响应的内积。这自然导向一个 per-neuron 曲率对象，即 inner Hessian。缺口因此变成：能否仅用 parent neuron 的 inner Hessian 和 λ 的符号结构，决定整条 plateau 的 local-min / saddle 分类。

Core Idea

论文真正的核心思想是把 widening 后的局部几何拆成“可回缩到窄网络的平均扰动”和“只存在于宽网络的 daughter-asymmetry 扰动”。如果平均扰动部分由窄网络 local minimum 保证非负，那么剩下的问题就是非对称扰动是否会造成 loss 下降；这个问题由 inner Hessian 的 definiteness 控制。

和 prior 的本质区别在于，本文不是再证明 overparameterization 产生 flatness，也不是只找一个 saddle 证书，而是把 plateau 上的 coefficient space 分区：同一个窄网络 local minimum，splitting coefficients 不同，可以得到 local minimum 或 saddle；同一个 widening 操作，parent neuron 的 inner Hessian 不同，可以得到 mixed plateau 或 all-saddle plateau。这相当于把“宽度扩张改变 landscape”从宏观叙事变成一个局部可判别的几何规则。

Method

1. 用 splitting 构造 stationary plateau。给定窄网络 θ，把第 r 个 neuron 复制为多个 daughters，hidden weights 保持相同，output weight 按 λ 分配，∑λ=1。这样函数值和 loss 不变，并且 θ stationary 当且仅当 split(θ,λ) stationary。这个等价性很重要，因为它排除了“宽网络多出的 stationary point 只是偶然”的问题。

2. 定义 inner Hessian。Hin_i 是 residual-weighted second derivative term，而不是完整 Hessian。它剥离掉 Jacobian Gram 项，专门捕捉 neuron feature 在 hidden weight perturbation 下的二阶弯曲对 residual 的影响。因为构造 saddle 方向时一阶输出可以抵消，剩下主导项正是这个对象。

3. 对 local minimum 原点做 plateau 分类。若 parent Hin 为 PD，则 λ 全正区域 ΛPD 保持 local minimum，其余为 saddle；若 Hin 为 ND，则一正多负区域 ΛND 保持 local minimum，其余为 saddle；若 Hin indefinite，则所有 λ 都是 saddle。这个结果的技术核心是 Jensen 型下界和抵消一阶项的二阶下降方向构造。

4. 对半定/零 inner Hessian 做弱化处理。Hin 非零时仍能识别正测度 surely-saddle region Λ \ (ΛPD ∪ ΛND)。若 Hin=0，则用 locally effective 判定是否至少存在 saddle；若 parent neuron locally constant，则整条 plateau 保持 local minima。

5. 对 saddle 原点证明“saddles beget saddles”。如果窄网络原点已有任意小下降方向，可以直接把该 perturbation split 到宽网络，保持函数输出一致，因此宽网络对应 plateau 上所有点都是 saddle。

Key Insight / Why It Works

最关键的 insight 是：splitting 引入的新方向不是任意 overparameterization noise，而是具有可控代数结构的 asymmetry directions。通过让 daughter neurons 的一阶 feature variation 加权相消，可以把 loss 的 leading term 推到二阶；于是 full Hessian 中通常占主导的 Jacobian Gram 正半定项被绕开，真正决定下降的是 residual curvature，也就是 inner Hessian。

这也是为什么 λ 的符号模式会进入定理。全正 λ 使 daughter perturbations 可以被解释成 convex averaging，PD inner Hessian 给出局部非负下界；一旦某个 λ 非正，就可以构造带符号抵消的扰动，让二阶项变成负。ND 情况看似反直觉：负定曲率也能保 local minimum，但需要一正多负的 λ；本质上是 output weight 符号翻转后，inner Hessian 在 daughter splitting 的有效坐标中转成正性约束。

我认为本文最实质的贡献是 inner Hessian + coefficient-region 的完整分类，而不是 stationarity preservation 或 perturbation Taylor 展开本身。后者是已有 embedding/splitting 分析的标准工具。Theorem 2/3 的价值在于说明“all-localmin plateau”是非常退化的：只要 parent neuron 对 residual 局部有效，splitting 就能制造 saddle；只有 neuron 在数据上局部常量时，widening 才完全不改变局部最小性。

这不是 scaling、retrieval、data coverage 或 test-time compute 之类机制；它是一个纯几何 reparameterization 结果。若要迁移到优化算法，真正可迁移的是“通过结构化扩维制造一阶抵消、暴露二阶 residual curvature”的思想，而不是具体两层网络公式。

Relation To Prior Work

最接近的是 Fukumizu-Amari 的 neuron splitting / hierarchical structure，以及后续 embedding principle、semi-flat minima、stationary plateau、saddle branch 等工作。这些工作已经说明窄网络 stationary points 可以嵌入宽网络，形成等 loss 的退化集合，也知道某些 split 会产生 saddles。

本文的不同点在于它不是 existence theorem，而是 coefficient-space classification theorem。prior 多数结果给“有 saddle”或“某类 embedded point 是 saddle/local min”的 sufficient condition；本文试图对 PD/ND/ID inner Hessian 情况给出整条 plateau 的必要/充分分类，并补上半退化情形的 saddle region。

和 ReLU-like stationary classification 工作相比，本文处理 smooth activation，工具不同：ReLU 的分段线性结构下二阶项消失或需用非光滑几何；本文恰恰依赖 σ'' 和 residual-weighted curvature。因此它属于 smooth two-layer landscape geometry 这条谱系，而不是 NTK/mean-field/宽网络全局收敛路线。

看似新的“stationary plateau”概念本身不是新东西；真正新增的信息是 inner Hessian 作为 per-neuron 局部判据，以及 λ 符号区域如何决定 local-min preservation vs saddle creation。

Dataset / Evaluation

没有数据集或实验评估。论文是理论工作，evaluation 主要由定理覆盖 claim。对于“stationary plateau 的几何分类”这一核心 claim，证明是直接证据，比 benchmark 更合适。

但文中对 broader optimization dynamics 的讨论，比如与 split-and-descent、river-valley landscape、宽度扩张帮助逃逸坏局部极小之间的联系，更多是解释性 extrapolation。定理只保证局部存在下降方向或局部最小性，不验证实际训练轨迹是否会到达这些 plateau，也不验证算法是否能稳定利用这些 directions。因此若把该论文作为 architecture growth 方法的支撑，证据还不够。

Limitation

主要限制是适用范围窄且局部性强。

1. 结构限制：两层、scalar output、smooth activation、平方损失。对 ReLU、深层网络、多输出、cross-entropy、normalization、skip connection 等现代设置没有直接覆盖。

2. 机制依赖 residual。inner Hessian 含 residual ˆy-y；当训练误差为零时，Hin 退化为零，本文最强分类基本失效。这意味着在 interpolation regime 下，splitting plateau 的几何可能需要高阶项或其他机制，文中未充分说明。

3. local result 不等于 dynamics result。saddle 存在不代表 SGD 能逃逸；下降方向可能需要精确 daughter-asymmetry perturbation，实际 optimizer 是否能发现取决于初始化、噪声、学习率和参数化尺度。这里没有动力学保证。

4. coefficient λ 可为负。理论上 output weights 没有限制，因此 ΛND 等区域合法；但在某些实际参数化、正则化或 constrained architecture 中，这类符号模式未必自然出现。

5. Hin=0 的 gap 没关。locally effective 与 locally constant 之间仍有 locally ineffective but non-constant 的区域，文中没有完整分类。这个 gap 可能不是技术小洞，而是说明 inner Hessian 判据在退化情况下不是完整不变量。

6. 只分析由 splitting 生成的 plateaus。宽网络中还有大量非-splitting stationary structures，本文不能说明整体 landscape 中 stationary points 的分布或坏局部极小是否普遍消失。

Takeaway

• 1. 宽度扩张的局部几何效应可以被看成“复制 neuron 后引入可控非对称方向”，这些方向会暴露 parent neuron 对 residual 的二阶曲率。
• 2. 判断 split plateau 类型的核心量不是 full Hessian，而是 per-neuron inner Hessian；这是一个值得迁移到其他 reparameterization / architecture growth 分析中的局部曲率对象。
• 3. Splitting local minimum 通常不会得到 all-localmin plateau；除非 parent neuron 对数据/残差局部无效，否则 widening 会制造 saddle region。
• 这为“扩宽帮助逃逸坏局部极小”提供了局部几何解释，但还不是优化动力学定理。

一句话总结

这篇论文把 neuron splitting 产生的 stationary plateau 从“宽网络退化现象”推进为一个由 parent inner Hessian 和 splitting coefficient 符号结构精确控制的局部几何分类理论。