精读笔记
Problem Setting
论文标题：Accelerated Convex Optimization via Hamiltonian Dynamics with Deterministic Integration Time（arXiv preprint / 2026）。
这篇论文实际解决的问题不是“提出又一个 accelerated method”，而是回答一个更窄但有理论价值的问题：标准、无阻尼、保守的 Hamiltonian dynamics 是否能在 smooth convex optimization 中作为确定性的加速原语。困难点在于 Hamiltonian flow 本身不收敛，它只在能量面上运动；从零速度出发虽然 endpoint 的函数值不超过初值，但 endpoint 会相位振荡，不能稳定地产生 accelerated contraction。
以前 Hamiltonian optimization 的瓶颈主要有三类：一是 endpoint-based HFopt 只能给 descent 或非加速率；二是 quadratic 情况可以借助显式解和 Chebyshev-like time schedule，但不泛化到一般凸函数；三是 randomized integration time 可以对一般凸函数给加速，但 guarantee 在 expectation/high probability 上，确定性算法意义不够干净。本文的关键矛盾是：Hamiltonian trajectory 中确实有加速信息，但 endpoint 不是可靠的读取方式。
Motivation
已有 accelerated gradient flow 通过 damping 把二阶系统变成耗散系统；Hamiltonian flow 则完全相反，是 conservative dynamics。直觉上这看起来不适合优化，但 HMC 的成功说明 conservative trajectory 在高维几何中能快速探索能量面。本文的动机是把这种“快速探索”的信息用于优化：不是让轨迹终点自己收敛，而是从整段轨迹中抽取优化方向。
关键缺口是 deterministic extraction。随机 integration time 已经说明，沿 Hamiltonian trajectory 随机取点可以平均意义上得到 acceleration；但这仍然没有解释是否存在一个确定性的 aggregation rule，可以稳定地把轨迹中的好信息转化成优化进展。作者的核心观察是：对凸函数，Hamiltonian trajectory 的时间平均比 endpoint 更接近可分析的 contraction operator。
Core Idea
论文真正的核心是一个新的读出方式：把 Hamiltonian rollout 从 x -> X_T 的 endpoint map 改为 x -> weighted average of {X_t}_{t∈[0,T]}。这改变了建模方式：Hamiltonian dynamics 不再被视为单步更新，而是被视为一个产生轨迹分布的 deterministic oracle；优化步骤读取的是轨迹 occupation measure 的均值。
为什么这可能有效？因为 endpoint 受相位影响，而时间平均会消掉振荡。更重要的是，凸性给出了沿轨迹的微分不等式：f(X_t)-f(z) 可以被初始 gap 和二阶距离项控制。对该不等式按三角权重积分后，二阶项变成端点距离的 Lyapunov correction，于是 averaged iterate 获得类似 accelerated flow 的 gap-distance tradeoff。
和 prior 的本质差异是：HFopt 试图证明某个时间点好；randomized HFopt 通过随机时间避免坏相位；本文则用确定性平均把相位问题结构性消掉。这是实质创新，而不是简单换 schedule。
Method
1. Hamiltonian rollout with zero velocity：每轮从 (x_k,0) 出发运行 HF。零速度重启保证能量守恒立刻给 f(X_t)≤f(x_k)，使整段轨迹都在初始 sublevel set 内。这解决的是稳定性下界问题，但单独不产生加速。
2. Weighted trajectory average：定义 X_avg=(2/T^2)∫_0^T (T-t)X_t dt。这个权重不是随意选择，它让积分分部时 endpoint 的 h(T) 项消失，并把 h'(t) 的控制转成 ||X_T-z||^2 与 ||X_0-z||^2 的差。核心变化是把 conservative dynamics 转成一个带 Lyapunov contraction 的 averaging operator。
3. Strongly convex / quadratic growth case：直接用 λ=0，即下一点取 averaged point。quadratic growth 把 ||X_0-x*||^2 控制为 gap，于是只要 T≈1/sqrt(alpha)，一步 gap contraction 成立。这里 acceleration 来自 integration time 的自然频率尺度 1/sqrt(alpha)，而不是 1/alpha。
4. General convex case：需要把 averaged point 和 endpoint 混合。原因是 averaged inequality 中的距离项落在 X_T，而下一步如果只用 X_avg，Lyapunov 无法闭合。mixing 构造 X_mix=(X_avg+λX_T)/(1+λ)，把函数项和距离项对齐，允许递推一个 f-gap + distance/T^2 的能量。
5. Discretization via extragradient integrator：extragradient 不是为了更高阶数值精度，而是为了 Hamiltonian dissipation。只要 η≤1/sqrt(L)，离散 Hamiltonian 不增，从而能复刻连续时间中依赖能量守恒的平均不等式。它把理想 HF oracle 转为纯 gradient oracle，但每个内步需要两次 gradient evaluation。
Key Insight / Why It Works
最核心贡献是 Lemma 2 及其 averaged corollary。它说明对于凸 f，Hamiltonian flow 虽然不收敛，但 h(t)=<X_t-z,Y_t> 的导数满足 f(X_t)-f(z) ≤ 2/3(f(X_0)-f(z)) - (1/6)d²/dt²||X_t-z||²。 这条不等式是整篇论文的支点。它把函数下降问题转化为轨迹几何的二阶边界项；一旦对时间积分，振荡不再是噪声，而成为可抵消的边界量。
真正有效的原因不是 Hamiltonian dynamics “天然加速”，而是 averaging 读取了惯性轨迹的低频成分。endpoint 可能因为相位落在坏点，average 则更接近中心化后的运动。对二次函数这很直观：每个 eigen-direction 是 cos/sin 振荡，时间平均会压低非零频率分量；对一般凸函数，作者用凸性把这个直觉变成不等式。
强凸情形下，核心是 quadratic growth 把距离项吸收到 gap 中；这使得一次长 rollout 就是一个 contraction map。convex 情形下，核心是 Lyapunov balancing：T_k^2 按 contraction 的倒数增长，函数 gap 几何下降但单轮 compute 几何上升，总 compute 变成 1/sqrt(epsilon)。所以这里的 acceleration 本质上是 test-time compute schedule + trajectory averaging，而不是固定代价迭代的神奇收缩。
哪些可能只是辅助？extragradient 是理论上方便的稳定离散化，贡献在于实现 first-order guarantee，但不是概念核心；mixing 参数和常数优化也更多是 Lyapunov closure engineering。哪些不是简单 engineering？从 endpoint contraction 改为 averaged trajectory contraction 是实质机制变化。
这不是 scaling/data/retrieval 类贡献；它是 better inductive bias / information aggregation：利用 Hamiltonian trajectory 的时间结构而不是单点状态。增益来源相对清楚：相位平均 + 能量守恒/耗散 + convexity-induced boundary inequality。
Relation To Prior Work
最接近的是三条线：Nesterov/accelerated gradient flow 的二阶动力系统解释、Hamiltonian optimization/HFopt、以及 randomized Hamiltonian gradient descent。
和 accelerated gradient flow 的差别在于是否耗散。AGF 通过显式阻尼 β_t 设计收敛；本文用无阻尼 conservative flow，每轮重启并聚合轨迹。它并没有重新解释 Nesterov，而是给出另一种达到相同 oracle complexity 的动力学原语。
和 Teel/Scagliotti 等 HFopt 的差别在于读出对象。那些方法基本依赖 endpoint、restart rule 或局部 stopping condition，因此本质上仍在找一个好时间点；本文证明 average 本身就是好点。这个差异是实质的。
和 Wang 2025 的 quadratic Hamiltonian acceleration 相比，本文不依赖 quadratic closed form 或 spectral/Chebyshev schedule，推广到一般 convex / quadratic growth 函数。和 Fu 2025 randomized integration time 相比，本文把随机时间抽样换成 deterministic weighted average，并把 expectation guarantee 换成 deterministic guarantee。可以说它把 randomized-time acceleration 的隐含机制显式化了：随机不是本质，沿轨迹聚合才是本质。
看似新的部分中，数值 integrator、implicit/extragradient 的 dissipative property 属于已有思想重组；实质新增信息是 convex Hamiltonian flow 的 averaged contraction inequality，以及用 mixing 让 general convex Lyapunov 递推闭合。
Dataset / Evaluation
实验覆盖 linear regression 和 logistic regression，包含 convex 与 regularized strongly convex 两种设置。它们是合理的 sanity check，但不是强实验验证：任务较标准，规模不大，没有真实系统部署，也没有展示在大规模 ill-conditioned 或非二次复杂 loss 上相对 AGD 的稳定优势。
实验结论比较诚实：dHFA-eg 相对 GD 有明显加速，但多数情况下 AGD 更快；simple average 有时优于理论采用的 triangular average；extragradient 通常比 explicit/leapfrog 表现更稳。整体上，evaluation 支持“机制可运行且有 acceleration-like behavior”，但不足以支持“实际优于现有 accelerated methods”。
本文的主 claim 是理论确定性加速，因此实验不是关键证据。若从 practical optimization 角度看，benchmark 未充分说明该方法在真实 workload 中为什么值得替代 AGD。
Limitation
第一，核心理论依赖 convexity。Lemma 2 的关键一步直接用凸性把 <X_t-z,∇f(X_t)> 下界为 f(X_t)-f(z)。离开凸性后，该机制基本断裂；PL 或 nonconvex 的扩展文中只是 future direction，未充分说明。
第二，算法需要知道或估计 L、alpha、初始距离/初始 gap 相关尺度来设定 η、T 或 N_k。convex case 中 N_k/T_k 几何增长，本质是用越来越长的 inner rollout 换外层 contraction；这会带来较大的常数和调参负担。
第三，practical gain 不清楚。dHFA-eg 每个 integrator step 两次 gradient call，理论常数很大；实验中 AGD 常常更好。该方法目前更像理论上建立 Hamiltonian primitive 的可行性，而不是一个即插即用的优化器。
第四，离散分析选择 extragradient 是为了能量耗散；HMC 中最自然的 leapfrog/symplectic integrator 反而没有理论保证。这样会削弱“从 sampling 迁移到 optimization”的概念完整性。
第五，continuous-time HFA 假设能精确模拟 HF；离散化后虽然有 first-order complexity，但是否保留 Hamiltonian geometry 的优势仍不完全清楚。部分收益可能来自稳定的 inner-loop averaging，而不是 Hamiltonian structure 独有。
Takeaway
- 1. 对 conservative dynamics 做优化，不一定要让 endpoint 收敛；更自然的读出对象可能是 trajectory average / occupation measure。
- 这一点可以迁移到其他 oscillatory dynamics 或 sampling-inspired optimization。
- 2. 随机 integration time 的加速可能不是随机性本身带来的，而是对轨迹时间分布的利用。
- 确定性 averaging 是更结构化、更可分析的替代。
一句话总结
这篇论文把 Hamiltonian optimization 从 endpoint-based descent 推进到 deterministic trajectory-averaging acceleration，核心贡献是证明保守 Hamiltonian flow 的时间平均而非终点具有可迭代的 accelerated contraction。