精读笔记

Problem Setting

这篇论文不是在重新定义 sharpness，也不是在解释所有 loss spike，而是在问一个更具体的问题：实际优化器的局部训练动力学为什么会在谱半径看起来“没有明显坏掉”时仍表现出不稳定。

传统分析把局部更新写成 J=I−ηH。由于 H 对称，J 正规，eigenvalues 几乎就是全部故事：ρ(J)<1 意味着扰动单调/渐近衰减，λ_max(H)>2/η 则给出 GD 的稳定边界。但 Adam、momentum 破坏了这个结构。Adam 引入坐标依赖的 M^{-1}，momentum 引入扩展状态空间，两者都让 J 的特征向量不再正交。

关键矛盾是：深度学习中很多不稳定现象发生在有限时间窗口，而谱半径只描述渐近行为。以前 Hessian/Edge-of-Stability 路线擅长判断是否进入 sharp regime，但不擅长度量“在还没明显谱失稳时，扰动会被放大多少、持续多久”。这篇论文试图补上的是有限时间放大的 operator-theoretic 诊断。

Motivation

已有路线不够的地方在于，它们默认稳定性由 Hessian eigenvalues 控制。这在 vanilla GD 中成立，但在实际优化器中并不成立。作者的核心观察是：实际训练更新算子通常是 non-normal operator，而 non-normality 的主要后果正是 transient amplification。

这不是一个新的深度学习 trick，而是把流体力学和数值分析里很成熟的“hydrodynamic stability without eigenvalues”迁移到优化动态。缺口在于，优化领域大量讨论 λ_max、sharpness、spectral radius，但较少显式讨论 eigenvector conditioning、pseudospectrum、resolvent growth。作者认为 loss spike / oscillation 的部分机制可能不在 eigenvalue crossing，而在 eigenvectors 近共线导致的短时放大。

更准确地说，论文动机不是否定 Edge of Stability，而是指出 EoS 仍然是 eigenvalue-centric；对于 Adam 和 momentum，稳定性对象应该从 Hessian spectrum 升级为 update operator 的 pseudospectrum。

Core Idea

核心思想是：把 optimizer-induced dynamics 看成非 Hermitian / non-normal 线性算子问题。Adam 的 J=I−ηM^{-1}H 一般不正规，因为 M 与 H 不对易；SGD+momentum 的 J_aug 在 (θ,v) 空间中有非对称块耦合，即便 H 本身对称也会非正规。这样一来，ρ(J)<1 只意味着长期收敛，不排除中短期 ||J^t||>1。

真正新增的建模 bias 是从“曲率大小”转向“模态几何”。λ_max 关心最陡方向有多陡；κ(V) 关心稳定模态之间是否几乎平行。后者一旦很大，多个 eigenmodes 的线性组合可以先发生强烈相长干涉，随后才按 eigenvalues 衰减。这个机制天然解释了为什么谱半径没有明显阈值时，训练仍可出现 spike 或振荡。

和 prior 的本质区别在于，它不再把 optimizer 视为改变 effective learning rate 的标量过程，而是把 optimizer state / preconditioner 视为改变 operator geometry 的机制。这个视角比单纯 sharpness 更 general，但也更难 scale，因为需要估计特征向量病态性而不只是 top eigenvalue。

Method

1. 非正规性刻画：Adam 的 frozen-preconditioner 更新 J=I−ηM^{-1}H 被证明在 [H,M]≠0 时非正规。这个步骤解决的是“为什么实际优化器不能沿用 Hessian 谱分析”的结构性问题。关键变化是稳定性不再只由 H 的 eigenvalues 决定，而由 H 与 M 的相对基底决定。

2. Momentum 扩展状态：SGD+momentum 被写成 2n 维 augmented Jacobian。这里非正规性不是来自自适应预条件，而是来自 θ 与 v 的不对称耦合。这个点很重要：即使没有 Adam，momentum 本身也足以制造 transient growth。

3. κ(V) 作为 practical proxy：论文用 J=VΛV^{-1} 给出 ||J^t||≤κ(V)ρ(J)^t。κ(V) 大时，即使 ρ<1，上界仍允许长窗口放大。这个量不是精确 transient growth，但提供了一个保守 severity proxy。

4. Pseudospectrum / Kreiss 解释：pseudospectrum 说明小扰动下 spectrum 会向单位圆外膨胀，Kreiss constant 连接 resolvent 与 max_t ||J^t||。这部分的作用是给 κ(V) 诊断提供理论背景，但实际实验主要还是看 κ(V)，没有真正做大规模 pseudospectral computation。

5. Exceptional point：EP 被定位为 κ(V)→∞ 的极限，而不是 loss spike 的必要机制。这个修正是合理的：EP 本身 codimension 高，不应被当作训练中普遍事件；near-EP / high κ 才是可观测的连续现象。

Key Insight / Why It Works

最重要的 insight 是：训练不稳定可能来自“稳定 eigenvalues + 非正交 eigenvectors”的组合，而不是 eigenvalue instability 本身。这一点在优化语境里有价值，因为实际 optimizer 往往恰好制造非正交性：Adam 用坐标系中的 diagonal M 去左乘 Hessian，除非 H 在同一坐标系近似对角，否则会破坏 normality；momentum 则把一阶系统变成非对称二阶系统。

κ(V) 有效的原因不是它预测了最终发散，而是它度量了线性化系统对扰动方向的最坏情况敏感性。loss spike 本质上常常是有限时间事件：扰动被放大到 nonlinear threshold 后，轨迹进入另一个局部区域，之后可能又恢复。因此一个 transient-growth 指标确实比单纯 ρ(J) 更贴近 spike 的时间结构。

我认为最核心贡献是“把 optimizer stability 的分析对象从 Hessian spectrum 换成 update operator pseudospectrum”。Proposition 1 本身数学上不深，但它把 Adam preconditioner 与 Hessian basis mismatch 直接联系起来，是可迁移的机制判断。SGD+momentum 的 scalar quadratic 例子也很有说服力，因为它说明即便 loss geometry 最简单，momentum 的 state augmentation 也能产生非正规放大。

可能只是辅助甚至偏概念包装的是 exceptional point 部分。EP 作为 κ(V) 发散极限是正确的，但对解释训练 spike 的实际增益有限；文中也承认 EP 不是一般机制。更实际的对象是 pseudospectral radius / Kreiss constant / κ(V) 的可估计 proxy。

这篇的增益不是 scaling、retrieval、data coverage 或 benchmark trick，而是 better dynamical inductive bias：它要求分析 optimizer 的 operator geometry，而不是只分析 loss landscape curvature。不过实验上的“有效”还停留在小系统相关性，尚不能证明它是大模型不稳定的主导因子。

Relation To Prior Work

最接近的 prior 是 Edge of Stability、Hessian sharpness、Hessian outlier dynamics，以及 loss spike empirical studies。这些工作通常把不稳定解释为 λ_max 穿越某个学习率相关阈值。本文不是推翻它们，而是指出它们只覆盖正规或近正规动力学下的 eigenvalue instability。

和 EoS 的本质差异在于：EoS 关注 top Hessian eigenvalue 如何动态贴近稳定边界；本文关注当更新算子非正规时，边界内也可能存在短时放大。前者给 binary threshold，后者给 continuous severity measure。实验中 sharpness first-crossing 更早，说明本文不是更强 predictor，而是不同维度的诊断。

和非 Hermitian / pseudospectrum 文献相比，本文的新意主要是迁移而非发明理论。Kreiss theorem、pseudospectrum、κ(V) 都是已有工具；实质创新在于把 Adam 的 [H,M] commutator 和 momentum augmented Jacobian 明确接到这些工具上。

因此它属于“优化控制 / operator-theoretic diagnostics”谱系，而不是新 optimizer 或新训练算法。看似新的 EP 叙事其实是非正规谱理论的标准极限情形；真正有用的新增信息是：实际 optimizer 的稳定性可以被 basis mismatch 和 state coupling 系统地刻画。

Dataset / Evaluation

实验是非常小规模的 proof-of-concept：二层 MLP、synthetic regression、完整 Hessian 和完整 eigendecomposition 可计算。它覆盖了 Adam 和 SGD+momentum 两类 optimizer，但没有覆盖 CNN、Transformer、normalization-heavy networks、真实大规模数据或分布式训练。

对于核心 claim“ρ(J) 不能区分稳定/不稳定阶段，而 κ(V) 能提供 non-normal severity signal”，SGD+momentum 的实验是支持的：不稳定窗口中 κ(V) 明显抬升，ρ(J_aug) 基本没有相应分离。高 momentum 复现实验增强了一点可信度。

但 evaluation 没有充分验证更强的 claim：κ(V) 是否能稳定提前预测 loss spike、是否优于 sharpness、是否在 Adam 中可用、是否能迁移到大模型。事实上文中承认 sharpness first-crossing lead time 更强，Adam 早期 quasi-static 近似失效。跨 seed 实验也因为 warm-start 抑制 spike，无法复现 κ(V) phase separation。

所以实验结论应保守解读：它验证了“非正规诊断在一个小系统中与不稳定阶段相关”，而不是验证了“κ(V) 是通用训练不稳定预警器”。

Limitation

最大的前提是线性化有效。所有理论结论都是关于局部 frozen operator 的，而真实 loss spike 是非线性、时变、带 optimizer state evolution 的事件。作者明确说 linearized transient growth 到 nonlinear loss spike 是 conjecture；这是论文最关键的未闭合环节。

Adam 部分尤其脆弱。论文一方面强调 Adam 的 [H,M] 非正规性，另一方面实验发现 frozen-M approximation 在早期失效，导致 ρ(J_t) 与真实稳定性脱节，κ(V) 也没有清晰 precursor pattern。也就是说，对最重要的实际 optimizer，当前方法更像 late-training diagnostic，而不是全程稳定性解释。

κ(V) 的 scalability 是明显问题。完整 V 和 V^{-1} 在大模型中不可行，而且非正规矩阵的 eigenvector conditioning 数值上很敏感。文中提到 randomized numerical linear algebra，但没有展示可用算法。这里文中未充分说明。

理论表达也有一些保守甚至容易误读的地方：||J^t||≤κρ^t 是上界，上界超过 1 并不保证实际放大，只说明允许放大。因此 Theorem 2 更像 necessary-for-bound-to-allow-growth 的 precursor，而不是严格预测器。把它用于 spike detection 时，增益来源不清：是 κ(V) 真在捕捉因果机制，还是与 sharpness / Hessian outliers / trajectory phase 共变。

实验规模太小，可能主要反映 toy MLP 的 Hessian 结构和 chosen learning rate regime。没有真实任务、多架构、多优化器状态建模，也没有干预实验，例如降低 κ(V) 是否减少 spike。因此因果性尚未建立。

Takeaway

• 1. 对实际优化器，稳定性分析不应只看 Hessian eigenvalues；optimizer-induced non-normality 是一个真实且可迁移的建模维度。
• 2. κ(V) / pseudospectrum 的价值在于给出 finite-time amplification severity，而不是替代 sharpness threshold。
• 未来更合理的方向是把 λ_max 作为进入 sharp regime 的 binary signal，把 non-normal metrics 作为 spike severity / sensitivity signal。
• 3. Adam 的核心问题不是简单的 adaptive LR，而是 M 与 H 的 basis mismatch；momentum 的核心问题不是只改变收敛速度，而是引入扩展空间中的非正规耦合。

一句话总结

这篇论文把神经网络训练稳定性从 Hessian sharpness 的 eigenvalue 叙事推进到 optimizer update operator 的 non-normal / pseudospectral 叙事，贡献主要是诊断框架和机制视角，而非已验证的大规模预测方法。