精读笔记

Problem Setting

Chebyshev-Exact Acceleration under Hessian Variation, I: Sine-Jacobi Method（arXiv preprint / 2026）。本文解决的不是经典 Chebyshev 加速的终端最优性，而是同一个 Chebyshev minimax terminal residual 在 Hessian 随时间变化时的实现层敏感性。固定二次型上，任何实现只要终端多项式相同就不可区分；但 Hessian drift 使梯度查询因子不再交换，算法的 ordered product 变成实质对象。

真正困难点在于：terminal polynomial 只描述固定谱上的 scalar transfer，不描述 perturbation 在第 s 步插入后如何被左右两侧不同 spectral parameter 传播。以前方法卡在把“多项式最优”当成“算法最优”，因此无法区分两个在固定 Hessian 上完全等价的 Chebyshev 方法。本文的关键矛盾是：prefix-exact Chebyshev recurrence 给出每一步都最优的漂亮结构，但这种强 prefix constraint 可能在 Hessian variation 下过度刚性；放松到 terminal-only exact 后，仍保持同样固定-Hessian 收敛，却可能显著降低漂移增益。

Motivation

已有路线不够，是因为它们优化的是 terminal oracle criterion：PEP、optimized first-order methods、Chebyshev semi-iterative methods 都主要关心最终残差或 worst-case contraction。它们默认 Hessian 固定或扰动是 additive error。对 multiplicative Hessian perturbation，错误不是简单叠加在输出上，而是在某个时间点改变曲率后被后续动态放大；这个放大依赖因子顺序。

作者的核心观察很尖锐：Chebyshev terminal polynomial 并不唯一决定算法在 Hessian drift 下的一阶响应。换句话说，“同一个 p_N^*”下面有一个 realization fibre，里面有不同的 time-ordered sensitivity profile。缺的不是新的终端多项式，而是一个能在同一终端多项式约束下比较 realization 的量，以及一个能利用 fibre 自由度降低该量的构造。

Core Idea

论文的核心思想是把 Chebyshev acceleration 的设计变量从 polynomial 转移到 realization。对 Hessian 序列 H_s=H+δB_s，若 B_s 把 ν-eigenspace 的分量插入到 λ-eigenspace，那么插入前的历史按 ν 传播，插入后的未来按 λ 传播。这个非交换的 time ordering 产生核 K_s(λ,ν)。AN=sup_{λ,ν}(Σ_s |K_s(λ,ν)|²)^{1/2} 就是该 realization 对一阶 Hessian drift 的 sharp spectral l2 gain。

理论上这可能有效，因为终端 exactness 只约束整个 product 的最终多项式，而不约束中间 left/right factors 的能量分布。Jacobi 参数化把这个自由度显式化：PN=2^{1-N}TN 固定节点，但 spectral weights 决定中间递推系数和 Green profile。sine-Jacobi 相当于在 Chebyshev isospectral fibre 中选择一个 persymmetric、endpoint sensitivity 更均衡的代表。它没有改变固定 Hessian 上的 minimax 性能，而是重新组织了 Hessian insertion 在时间维度上的敏感性。

Method

第一步是 realization-level first variation。作者从一般 one-gradient realization 出发，把每一步写成 C_s(λ)=P_s-λg_sq_s^T。Hessian drift 的一阶导数由 product rule 给出：第 s 步插入 B_s，右侧 C_{s-1}...C_0 用 ν，左侧 C_{N-1}...C_{s+1} 用 λ。这一步的必要性在于，它把“曲率变化”从模糊鲁棒性问题变成可精确计算的 spectral bilinear insertion。

第二步是 prefix-exact baseline 的精确化。标准 Chebyshev recurrence 每个 prefix 都等于 p_t^*，因此递推系数被唯一确定。作者计算出 K_s：本质上是左侧 U_{N-s-1}(z(λ)) 乘右侧 T_s(z(ν))，最坏点在 endpoint，得到 A_N^{pref}~(4/√3)N^{3/2}ε_N^*/Δ。这个结果的作用是建立一个强约束下的不可改进 baseline。

第三步是 Jacobi fibre。terminal-only exact 二项递推可写为 monic Jacobi recurrence P_{s+1}=(z-b_s)P_s-a_s²P_{s-1}。最终 PN=2^{1-N}TN 固定全部 eigenvalues，但 weights 仍自由。核分解为 Q^{(s+1)}_{N-s-1}(x)P_s(y)，因此 AN 变成左右主多项式乘积的 sup-l2 问题。

第四步是 sine-Jacobi 选择。取 Chebyshev midpoint nodes 上 weights ∝sin((2j-1)π/2N)，得到 persymmetric Jacobi matrix、零对角和显式 a_s²。关键变化是 endpoint Green diagonal d_s=[(I-J)^{-1}]_{ss} 的分布；AN 的有限表达变为 2ε_N^*/Δ(Σd_s²)^{1/2}，而 d_s/N 收敛到一个连续 profile φ_sin，给出常数 2√c_sin≈2.137936，低于 prefix 的 4/√3≈2.309401。

Key Insight / Why It Works

最重要 insight 是：Chebyshev terminal residual 只约束 product 的结果，不约束 product 的路径。固定 Hessian 下所有因子可通过 functional calculus collapse 成同一个 polynomial；Hessian variation 下这个 collapse 失效，路径本身成为算法性质。这是本文真正的贡献，而不是 sine 系数公式本身。

sine-Jacobi 有效的原因更接近 better inductive bias / latent structure，而不是 scaling。它利用 Jacobi inverse-spectral structure，把 terminal exactness 下隐藏的 spectral-weight 自由度转化为 sensitivity distribution 的控制。prefix-exact 方法强制每个 prefix 都 Chebyshev optimal，导致中间状态和 tail fundamental solution 在 endpoint 处形成较强集中；sine weights 通过 persymmetry 和 sine-lattice 正交多项式把 endpoint Green mass 分布得更平滑，降低 Σd_s²。在总 Green mass 固定的情况下，降低平方和就是降低 worst-case l2 insertion gain。

最核心的理论贡献是 kernel K_s 和 AN 的定义，以及 Jacobi fibre 中“spectrum fixed, weights free”的分解。这两者给出了一个新的设计维度。sine-Jacobi 构造是第一个显式证据，说明 terminal polynomial 不决定 drift robustness。相对而言，实验主要是辅助，证明该一阶量在若干构造场景中能预测有限 horizon 行为；不是核心贡献。

需要明确的是，sine-Jacobi 的增益不是来自更好的 Chebyshev residual，也不是更长 horizon 或更多 compute；两种方法终端多项式相同。它也不是 retrieval / data coverage 类型收益。它本质上是 representation alignment：把二项递推 realization 与一个更合适的 Jacobi spectral measure 对齐，使得非交换 perturbation 的传播路径更均匀。

Relation To Prior Work

最接近的谱系是 Chebyshev semi-iterative methods、scheduled gradient acceleration、orthogonal polynomial / Jacobi matrix inverse spectral theory，以及鲁棒优化算法的动态系统分析。与 classical Chebyshev 的本质差异是，经典理论优化 p_N 在 [μ,L] 上的 sup norm；本文固定 p_N，优化或比较实现 p_N 的 ordered recurrence。

与 PEP / OGM 的差异也很本质：PEP 优化终端性能估计，通常把算法等价性建立在 oracle model 下的最终误差上；本文的 AN 是对 Hessian insertion 的一阶算子范数，和 terminal criterion 正交。两个方法在 PEP 终端指标上完全相同，但 AN 不同。

与 noisy/inexact gradient 文献相比，本文不是 additive gradient noise robustness。扰动是 multiplicative curvature channel，且有 spectral source-target pair (ν→λ)。这使得 kernel 必须区分 insertion 前后的传播谱值。IQC / robust acceleration 虽然也关心动态系统鲁棒性，但通常分析给定状态空间 realization；本文反过来强调同一 transfer polynomial 的不同 realization 本身就是可设计对象。

Jacobi 坐标并不是新数学，sine-lattice / persymmetric inverse spectral 也明显借用了经典正交多项式工具。实质创新在于把这些工具用于优化算法 realization 的 Hessian-drift gain，并给出一个固定 terminal Chebyshev residual 下的严格 separation。

Dataset / Evaluation

实验设计整体是 claim-driven：始终固定 terminal Chebyshev polynomial，只改变 realization，因此能直接检验“差异来自 ordered realization”。覆盖了四类场景：有限常数与随机 endpoint-coupled quadratic、time-varying 2D quadratic kernel validation、固定 horizon stochastic curvature、以及 endpoint-coupled logistic GLM restart。它们验证了理论量 AN 对一阶乘性曲率扰动的预测能力，也展示了有限 horizon 下可能转化为更大 admissible block 或更少 backtracking。

评价的优点是没有混入更强终端多项式，因而归因相对干净。time-varying quadratic packet 与 kernel predictor 的吻合尤其重要，因为它直接验证 K_s，而不是只看最终优化效果。

但实验场景明显偏向 endpoint coupling，这是理论 worst-case gain 最敏感的结构。GLM 也被构造成 Hessian derivative near optimum coupling spectral endpoints。它支持机制验证，但不等价于证明真实任务中普遍存在同样收益。没有真实大规模 deployment，也没有展示在一般非构造数据分布上的稳定优势。因此 evaluation 对核心 claim“realization matters”支持充分；对“sine-Jacobi 是实践中普遍更好”支持有限。

Limitation

第一，sine-Jacobi 没有全局最优性。prefix-exact 类中的 sharp lower bound 不能外推到 terminal-exact 类；sine weights 只是一个更优显式点。terminal-exact fibre 上是否还能继续降低常数，文中未充分说明。

第二，理论主要是一阶 perturbation。AN 控制 δ→0 的 first variation；实验中的有限半径 GLM 虽然显示趋势，但高阶 Hessian variation、非线性路径偏移、restart policy 的相互作用并没有被理论完全覆盖。大 drift 下的优势可能改变，甚至可能由高阶项主导。

第三，worst-case spectral insertion gain 是一个保守且结构化的度量。真实问题的 Hessian drift 未必集中在最坏 λ,ν pair，也未必 endpoint-coupled。如果实际 perturbation 子空间与 sine-Jacobi 改善的 sensitivity profile 不对齐，收益可能很小。

第四，方法依赖已知 [μ,L] 和固定 horizon N。Chebyshev exactness 对 interval mis-specification 敏感；如果 L、μ 估计不稳，或者需要 adaptive horizon，Jacobi realization 的优势可能被调参和 restart 策略吞掉。文中没有充分讨论 interval uncertainty 下 AN 的鲁棒性。

第五，增益幅度在理论常数上并不巨大：asymptotic coefficient 从 2.309 到 2.138，平方约十几个百分点。某些 nonlinear 实验显示很大 gap，但这可能来自特定 trajectory / endpoint coupling 放大，不应直接理解为通用优化加速收益。

Takeaway

• 1. 对加速方法，terminal polynomial 不是完整算法描述；在非交换扰动下，ordered realization 是一等公民。
• 这个观点可以迁移到任何“同一 transfer function 多种 realization”的优化/控制问题。
• 2. Hessian drift 应该作为 multiplicative spectral insertion 来分析，而不是简单 additive gradient noise。
• K_s(λ,ν) 这种左右谱传播核，比传统 residual curve 更能解释 time-varying curvature 下的失败模式。

一句话总结

这篇论文把 Chebyshev 加速从“最优终端多项式”推进到“同一多项式的鲁棒 ordered realization 设计”，其真正贡献是用 Hessian-insertion kernel 揭示并利用 terminal-exact fibre 中的实现自由度。