精读笔记
Problem Setting
这篇论文研究的是 strictly convex quadratic 上的 gradient method step-size selection，但实际问题不是二次优化本身，而是 spectral gradient methods 的两个结构性缺口：候选步长从哪里来，以及候选步长按什么顺序用。已有 BB/SD/Yuan/Huang/LMSD/MLMSD 方法都能从梯度历史中提取某种 curvature-sensitive reciprocal step-size，但这些构造之间的等价关系、包含关系和有限记忆可实现性并不清楚。更关键的是，很多方法默认“拿到一组 spectral candidates 后循环使用即可”，但在病态谱上，低频步会重新放大高频分量，导致固定循环或过长低频 phase 失稳。关键矛盾是：要收敛必须最终处理小 eigenvalue / low-frequency component，但每次低频推进都会破坏之前对大 eigenvalue / high-frequency component 的压制。
Motivation
已有路线不够的地方在于 construction 和 sequencing 被分开处理：construction 端大量代数规则看似不同，但许多其实都是有限矩、Ritz 值或 determinant pencil 的变体；sequencing 端则更多依赖经验循环、延迟复用或渐近观察，缺少一个能解释“为什么这个顺序必须这样”的机制。作者的核心观察是 rebound phenomenon：当 step-size 近似 1/λ_j 时，对 λ_i>λ_j 的分量乘子为 |1-λ_i/λ_j|>1，因此低频步天然会放大高频残差。这个观察把 step-size ordering 从经验设计变成一个递归约束问题：每次要动低频，都必须先清高频；动完低频，高频又会回来。因此缺的不是又一个 Ritz 估计，而是一个与谱误差动力学匹配的 scheduler。
Core Idea
论文真正的核心思想是把 spectral gradient method 看成两个耦合系统：一个系统从有限梯度历史中构造局部谱近似，另一个系统按谱分量的反弹结构组织这些近似的使用顺序。前者通过 Huang class、narrow Huang class 和 Gu–Du moment class 说明哪些候选步长本质上来自有限矩 / 广义特征值问题；后者通过 Hanoi ordering principle 说明为什么高频分量的清理必须以递归方式嵌套在低频分量推进之前和之后。
本质区别在于，它不再把 step-size sequence 看作一个简单的 cycle 或 adaptive switch，而是引入了一个 spectral curriculum inductive bias：先处理高频、低频推进后回到高频、并根据 memory-m 能力做 block/phase-wise recomputation。这种信息流重组很重要，因为候选 Ritz 值本身只是局部谱测量，真正决定稳定性的往往是这些测量何时被使用、被重复几次、以及是否在低频步后重新刷新。
Method
方法上最重要的不是具体算法细节，而是三个机制。第一，结构化候选生成：用 determinant pencil / moment Hankel pair 统一 Huang、LMSD、Gu–Du 等谱步长，明确哪些构造可以用有限 moment window 重建，从而把存储从 m 个 n 维向量压到近似两个梯度向量加少量标量；这解决的是有限记忆可实现性和结构归类问题。第二，Hanoi-style candidate selection：在多个 Ritz 候选中偏向 weighted component energy 高的候选，尤其偏向高频且能量大的分量；这解决的是低频过早使用导致高频 rebound 的问题。第三，settlement-continuation：不是固定循环使用某个 Ritz 值，而是估计该分量何时被压到足够低，再决定连续复用次数；这解决的是过短 phase 浪费谱估计、过长 phase 引发指数级放大的矛盾。整体算法可以理解为 LMSD/Gu–Du 谱候选生成器加一个基于 rebound 风险的 phase scheduler。
Key Insight / Why It Works
最核心的 insight 是 rebound phenomenon，而不是四个 class 的形式化分类。对二次问题，在 eigenbasis 中每个分量独立演化，step-size targeting λ_j 会压制 j 分量，但同时以 |1-λ_i/λ_j| 放大所有更高频分量。这个动力学直接解释了为什么很多看似合理的低频 step 或固定 cyclic schedule 会失败，也解释了为什么有效方法常表现出“高频—中频—高频—低频—高频...”的递归模式。Hanoi analogy 不是装饰性比喻，而是在理想化 phase 模型下对最少清理次数的结构刻画。
真正有效的部分大概率是 spectral curriculum + bounded reuse + admissibility filter 的组合。weighted energy 和 Ritz uncertainty estimator 是辅助，它们让 scheduler 在实际有限记忆、近似 Ritz 值、噪声 residual 下更稳。结构化 class 部分的贡献偏理论整理，帮助解释 LMSD/Huang/Gu–Du 的共同本质，但对实验增益的直接贡献可能有限。算法收益中也有一部分可能来自 engineering：pseudo-memory 降低存储、phase reuse 增加 test-time compute efficiency、参数调优改善了候选筛选。不能把所有增益都归因于 Hanoi ordering；文中对不同机制的 ablation 归因仍不够强。
Relation To Prior Work
这篇属于 spectral gradient / limited-memory steepest descent / moment-based Ritz extraction 这条谱步长谱系。和 BB1/BB2 的关系是：BB 是一阶加权 Rayleigh quotient，Long/Short LMSD 是其 m 维推广。和 LMSD/MLMSD 的关系最接近：候选 Ritz 值和 Gu–Du 的能量权重基本沿用这一路线，只是加入了更明确的 finite-moment 结构和排序原则。和 Huang 方法的关系在于把 Huang 的二维 determinant identity 提升为 generalized pencil class，并区分 rank-one、narrow、Gu–Du overlap。
真正新增的信息不是“能从矩里算 Ritz 值”，这在 LMSD/Gu–Du 中已有；也不是“循环谱步长有效”，这在 cyclic gradient methods 中已有。实质创新是把 step-size sequencing 解释为由 rebound 强制出的递归 ordering，并把这个 ordering 落到 adaptive phase selection 上。结构分类部分更像是把已有代数构造统一到一个 taxonomy 中；Hanoi principle 才是对算法设计最有迁移价值的新 bias。
Dataset / Evaluation
实验是标准人工 SPD quadratic benchmark：n=1000、condition number 10^6、四种谱分布、随机 Householder 旋转和随机 b/x0。这个设置高度匹配论文理论假设，因此能较好验证其核心 claim：在病态二次问题上，Hanoi-like ordering 比普通 spectral step-size sequencing 更稳、更快。它也覆盖了 uniform、Marchenko–Pastur、bimodal、asymmetric gap 等谱形状，说明方法不是只对单一谱分布有效。
但 evaluation 仍然偏窄。没有真实应用、没有非二次目标、没有 line search 版本、没有大规模稀疏系统实际 wall-clock 对比，也没有系统展示每个机制的消融贡献。L-BFGS 设置为 unit step-size 且无 line search，这对 quasi-Newton baseline 不一定公平。benchmark 支持“在纯梯度、二次、病态谱环境下有效”，但不足以支持“通用大规模优化算法优于主流方法”的强结论。
Limitation
方法成立强依赖二次谱模型：固定 A、正定、可用 eigencomponent 动力学解释、Ritz 值稳定、moment window 可恢复。Hanoi ordering 的理论假设也偏理想化：phase 能明确 target 某个 eigenvalue，settlement threshold 能代表分量清除，低频步会以可预测方式 rebound 高频分量。真实非二次优化中 Hessian 会变，谱方向会旋转，gradient history 的 moment interpretation 会被破坏。
另一个限制是增益归因不清。Hanoi scheduler、weighted energy、admissibility threshold、continuation cap、KT/LMSD uncertainty estimator、参数网格调优都可能贡献性能；文中没有充分拆解哪个是决定性因素。pseudo-memory 是漂亮的工程优化，但在 m=2/3 时更多是 memory/scaling advantage，不一定改变算法本质。对于 clustered eigenvalues，long/short discrepancy 和 Kato–Temple bound 可能很松，scheduler 可能变得保守。对于更大 m，moment/Hankel 数值稳定性、Ritz 排序、阈值敏感性都可能成为上限。文中未充分说明这些 failure mode。
Takeaway
- 最值得记住的有三点。
- 第一，spectral gradient 的难点不只是 step-size construction，而是 sequencing；低频步导致高频 rebound 是设计谱步长序列时必须显式建模的机制。
- 第二，LMSD/Gu–Du/Huang 这类方法可以统一看成有限矩谱测量，真正有用的是把这些测量放进一个稳定的 phase scheduler。
- 第三，Hanoi ordering 提供了一个可迁移的想法：当一个操作会重新激活先前被压制的高频 / 快变量时，最优策略往往不是线性 sweep，而是递归清理。
一句话总结
这篇论文把谱梯度法从“构造更好的 BB/LMSD 步长”推进到“用有限矩恢复谱候选并按 rebound 驱动的 Hanoi 递归顺序调度它们”，其主要价值在于提出了一个解释和设计 step-size sequence 的结构性原则。