精读笔记

Problem Setting

这篇论文真正处理的是 mixed precision Newton 在优化问题中的局部误差传播与精度分配问题。关键矛盾是：Newton 的昂贵部分在 Hessian 形成和线性系统求解，最容易从低精度受益；但 Newton 的高精度解又对梯度误差和更新误差非常敏感。以前的 inexact Newton / quasi-Newton 解决的是“少算或近似算”，mixed precision 数值线性代数解决的是“低精度线性代数怎么稳定”，但两者都没有完整回答 nonlinear optimization 中不同误差源如何共同决定收敛速率和最终 accuracy floor。困难点在于误差不是均匀进入目标函数，而是经过 Newton map、Hessian inverse 和条件数放大后，以不同阶数进入递推式。

Motivation

作者的动机不是单纯证明低精度 Newton 可用，而是补上一个理论缺口：优化算法里 mixed precision 的设计缺少可操作的误差归因原则。已有动态精度、inexact derivative、subsampling、probabilistic model 多数偏全局复杂度或 worst-case iteration bound，通常较保守，也不直接告诉你梯度、Hessian、update 哪个该用高精度。作者观察到 Newton 局部收敛本身提供了更 sharp 的结构：二次收敛项、线性扰动项、不可消除误差地板可以分开分析。这个方向自然来自数值误差分析，而不是机器学习式 empirical precision search。

Core Idea

核心思想是把 mixed precision Newton 看成一个通用的 perturbed Newton iteration，而不是把 fp32/bf16 当作实现细节。梯度误差、Hessian/solve 误差、更新误差分别进入同一个局部递推界：α_i 控制 Newton 原本的二次项，β_i 控制由 Hessian inexactness 诱发的线性收敛项，γ_i 控制最终可达精度。这个分解改变了 mixed precision 的建模方式：不再问“某个算法能不能低精度跑”，而是问“某类误差进入哪一项，是否影响最终解”。直觉上它成立是因为 Hessian 误差表现为对 Newton direction 的相对 backward perturbation，主要改变方向质量；梯度误差在最优点附近不会随 ||x-x*|| 自动消失，因此直接形成 floor；update rounding 则同时限制状态表示和步长累积。

Method

方法的必要机制有三层。第一层是 Error Model 2.1：用 e_i^g、E_i^H、e_i^+ 分别刻画梯度、Hessian 系统、更新误差，解决的是 mixed precision 与算法近似混在一起无法比较的问题；核心变化是把 rounding error 和 inexact/quasi-Newton approximation 放进同一 backward-error 语言。第二层是局部收敛定理：在 Hessian Lipschitz、H(x*) nonsingular、ν_i=ε_i^H κ(H(x_i))<1 下得到 α/β/γ 递推，解决的是不同误差源如何改变收敛阶与精度地板的问题。第三层是实例化：floating-point Newton 给出 ug,u,uH 的角色分工；inexact Newton 通过 Rigal-Gaches 把 CG residual tolerance η_i 转成 Hessian perturbation；Gauss-Newton 把丢弃的 S(x) 视作 Hessian perturbation。这些不是新算法模块，而是同一个误差模型的三种投影。

Key Insight / Why It Works

最重要的 insight 是：Hessian 低精度通常不决定最终精度，只要它没有大到破坏 ν_i<1 或让 β_i 主导太早；梯度精度才更直接决定最终可达解质量。这一点对 mixed precision Newton 很关键，因为 Hessian 系统通常是最贵的部分，允许 uH 显著低于 u 或 ug 才有实际价值。换句话说，本文的核心贡献是误差源的分工，而不是某个新的 solver。最可能迁移的判断是：如果一个近似已经以 backward Hessian error 的形式主导 β_i，那么提高该部分 arithmetic precision 是浪费；相反，如果 gradient evaluation 本身存在 cancellation、finite difference 或强近似误差，那么再精确地解 Hessian 系统也救不了 accuracy floor。部分内容只是 engineering/scaling：具体 fp64/fp32/bf16 组合、CUTEst profile、Python 实现都主要是验证现象，不是方法本质。Gauss-Newton 的结论也更像误差预算解释：当 S(x) 或 bf16 rounding 已经主导 Hessian error，Newton 与 Gauss-Newton 的差距会被同一 β_i 项吸收。

Relation To Prior Work

这篇最接近的是 Tisseur 对 root-finding Newton in floating point 的分析，以及 Kelley 的 mixed precision Newton；它的实质新增是把分析专门迁移到 optimization，并显式纳入 gradient evaluation、Hessian approximation、linear solve inexactness。和 inexact Newton 经典理论相比，它不是只给 η_i 下的能量范数收敛，而是把 η_i/ζ_i 与 uH 放在同一个 ε_i^H 中，从而能讨论 solver tolerance 与 arithmetic precision 的平衡。和 Gauss-Newton 经典理论相比，它没有发明新的 Gauss-Newton 条件，而是把 discarded second-order residual term S(x) 解释成 Hessian perturbation，并与 rounding error 竞争。看似新的 mixed precision algorithms 本质上是已有 Newton variants 的误差预算重组；实质创新在统一框架和对最终精度/收敛速率的清晰归因。

Dataset / Evaluation

实验覆盖了可控 least-squares、CUTEst 中小规模问题、有限差分梯度、inexact CG、Gauss-Newton 等场景，基本能支持论文的核心 claim：理论递推能解释 mixed precision 下收敛速率与可达精度的变化。评估强项是做了 mechanism validation，而不是只报 faster/slower；例如通过改变 Hessian 条件数、梯度近似步长、CG tolerance、噪声水平来隔离不同误差源。明显 limitation 是没有真实 high-performance implementation，因此不能证明低精度在现代硬件上带来实际时间/能耗收益；也没有大规模稀疏问题、GPU tensor core、自动微分复杂模型或非凸远场 globalization。CUTEst profile 说明 robustness，但问题规模偏小，且失败/成功更多验证局部条件而非 deployment-level reliability。

Limitation

核心前提是局部邻域、Hessian Lipschitz、H(x*) nonsingular，并且 Hessian perturbation 满足 ε_i^H κ(H(x_i))<1；这直接限制了 ill-conditioned、near-singular、nonconvex saddle 附近的适用性。没有 globalization 是最大缺口：实际 Newton-type optimizer 的难点往往不是局部最后几步，而是如何进入可应用该理论的 basin。理论对 κ(H) 和误差常数敏感，某些 bound 偏保守；文中也展示了理论不能保证但实际收敛的情况。性能增益来源不清，因为实验没有测 wall-clock、memory bandwidth、energy，也没有处理低精度 kernel 与精度转换开销。方法还把很多复杂问题转移成“如何估计 ε_i^g、ε_i^H、κ(H)、ζ_i”，而这些在线估计在真实大规模优化中并不免费。

Takeaway

• 最值得记住的不是“Newton 可以 mixed precision”，而是“不同 Newton 子操作对应不同误差通道”：梯度管最终精度，Hessian 系统管收敛速率，更新精度管状态 floor。
• 未来 mixed precision 二阶优化应该做在线误差预算，而不是固定 fp32/bf16 recipe。
• inexact solve、quasi-Newton approximation、floating-point rounding 应该被统一看作可互相替代的 Hessian-side inexactness；当其中一个已经主导时，优化另一个收益有限。
• 真正值得继续做的是把该局部 sharp analysis 接入 trust-region/line-search 和高性能实现，否则它更像理论设计准则而不是完整 optimizer。

一句话总结

这篇论文把 mixed precision Newton 从经验性精度搭配提升为局部误差预算理论，真正贡献是区分梯度、Hessian 系统和更新误差对收敛速率与最终精度的不同作用，属于数值误差分析驱动的二阶优化方法演化。