精读笔记
Problem Setting
这篇论文解决的不是一般“最优控制求解”，而是 PMP 间接法在非光滑 Hamiltonian 场景下的数值可用性问题。PMP shooting 的优势是变量少、保留 Hamiltonian/costate 结构、时间离散可做 symplectic；困难是 Hamiltonian minimization 一旦产生 bang-bang switch、active-set change 或 singular arc，reduced Hamiltonian 对 costate/state 不再光滑，Newton shooting 的 Jacobian 和 convergence basin 都变得脆弱。
关键矛盾是：想要 indirect method 的结构效率，就必须处理非光滑 Hamiltonian；想要鲁棒性，可以转向 direct collocation/NLP，但会把问题变成更大的 KKT 系统，并且 Hamiltonian 结构不再是核心组织原则。本文选择保留 PMP 路线，但把 Hamiltonian 本身变成一个可逐步改进的数值对象，而不是假设它已光滑、已闭式、已可微。
Motivation
已有路线各自缺一块。经典 shooting 缺非光滑鲁棒性；HJB/viscosity PDE 有全局性但维度灾难；occupation measure/max-plus 全局但重；direct collocation 工程上强但不是 Hamiltonian-centered；Karlsson et al. 的 symplectic Euler a posteriori framework 主要控制时间离散误差，不负责 Hamiltonian oracle/model/smoothing 误差。
作者的核心观察是：在很多工程控制问题里，Hamiltonian minimization 本身可以通过 oracle/QP/active-set 求得，但 reduced Hamiltonian 对 shooting 不友好。与其每次都直接面对 nonsmooth oracle，不如把 oracle 响应积累成 concave PA surrogate，再用 smoothing 给 Newton 一个可微对象。缺口因此不是单个新算法，而是一个把“oracle 信息复用 + 可微化 + 时间自适应”统一成 value-error control 的 solver architecture。
Core Idea
真正核心思想是重新组织 Hamiltonian 的信息流：原始问题给出的是 pointwise minimization oracle；solver 不直接对这个 oracle 做 Newton，而是把每次 oracle 返回的 optimal control / drift / cost 固化成一条 affine majorant，累积成 PA bundle。因为 minimization Hamiltonian 对 costate 是 concave，有限 affine majorants 的 minimum 给出一个 concave piecewise-affine upper model。再用 soft-min 将这个 PA model 平滑化，得到可供 symplectic Euler 和 Newton 使用的 H_delta。
这改变了建模方式：Hamiltonian 不再是一次性解析对象，而是一个沿当前 trajectory 自适应增长的局部-全局混合 surrogate。新的 inductive bias 是“最优控制切换结构可以由少量 active affine branches 表示，并且只需要在 value-relevant trajectory region 变精细”。本质区别不是 log-sum-exp，也不是 symplectic Euler，而是把 indirect shooting 的困难从“求解非光滑 TPBVP”转成“在 trajectory 上维护一个可微、concave、带误差指示的 Hamiltonian model”。
Method
1. PA bundle surrogate：解决 Hamiltonian oracle 昂贵且非光滑的问题。每个 oracle call 产生一个 frozen-control affine majorant，使 H_bar >= H；bundle enrichment 只在 PA gap 对 value 指标贡献大时发生。核心变化是 oracle 信息从一次性 evaluation 变成可复用的 Hamiltonian model。
2. Soft-min smoothing：解决 PA surrogate piecewise-affine 不可微的问题。H_delta 平滑且保持 costate concavity，Newton residual/Jacobian 因而可定义。代价是引入 smoothing bias，并且 Hessian 在 switching region 有结构性 1/delta conditioning。
3. Symplectic Euler + all-at-once Newton：解决 TPBVP 的结构化离散与求解问题。它保留 canonical state-costate coupling，Jacobian block-banded，时间步数上近似线性扩展。这里更多是合理工程选择，不是主要理论创新。
4. 三源 adaptive outer loop：解决误差归因问题。time indicator 控制离散误差，PA indicator 控制 model gap，delta indicator 控制 smoothing bias。关键是这些 indicator 都服务于 value-first 目标，而不是声称 state/costate/control pathwise certified。
5. Post-convergence admissible recovery：解决 Newton TPBVP 解不一定直接给 admissible primal trajectory 的问题。最终用 converged costate 通过 Hamiltonian-minimizing selector 前向积分，得到 primal upper-bound witness。这个设计很诚实：它承认 solver 的主要认证对象是 value proxy，不是轨迹误差。
Key Insight / Why It Works
最可能有效的原因是“低维 active control structure + trajectory-local refinement”。很多控制问题的 Hamiltonian minimizer 虽然定义在连续 control set 上，但沿一条最优轨迹实际只访问少数 active regimes / active sets。PA bundle 正好捕捉这些 regimes；soft-min 在 active-set 交界处给 Newton 一个平滑过渡；mesh refinement 则把时间分辨率集中在 switching、boundary layer、singularity 附近。因此该方法的增益主要来自 better inductive bias 和 test-time adaptive compute，而不是全局优化能力。
最核心贡献是三类误差被显式分层，而不是把所有数值困难都交给 mesh 或 Newton。这个分层使 solver 可以判断当前瓶颈是 Hamiltonian model 不够、smoothing 太粗，还是时间步太大。PA bundle 和 delta continuation 共同形成一种 curriculum：先用粗但光滑的 Hamiltonian 找 basin，再逐步逼近 nonsmooth/oracle Hamiltonian。
哪些可能只是辅助：symplectic Euler、damped Newton、least-squares fallback、horizon continuation 都很重要，但更像使系统跑起来的工程稳定器。它们不是本文的本质新信息。尤其 LS fallback 和 continuation 会显著影响实验成功率，但增益来源不清；如果没有 ablation，很难判断成功来自 PA-softmin 机制，还是来自 warm start / continuation / tolerance choices。
需要直接指出：这不是解决 PMP local optimality 的方法。作者也给了 double-well warning。Smoothing 不会 convexify 原问题，PA bundle 也不会排除 suboptimal extremal。所谓 value-first indicator 也不是 primal-dual certificate；它只是针对构造顺序的误差 proxy。若初值落在错误 extremal basin，方法仍会非常自信地收敛到局部解。
Relation To Prior Work
这篇最接近四条谱系的交叉点：PMP shooting / multiple shooting，symplectic Pontryagin discretization，bundle methods for nonsmooth optimization，log-sum-exp smoothing。它不是替代 direct collocation，也不是 HJB 的低维近似；更准确地说，是一个 Hamiltonian-centered indirect solver，把 bundle/smoothing 思想嵌入 PMP TPBVP。
看似新的部分中，单独看都不新：PA cuts 是 bundle method 经典思想；soft-min smoothing 是标准技巧；symplectic Euler a posteriori estimator 来自 Karlsson et al.；multiple shooting/block-banded Newton 是老技术。实质新增是这些组件的组合方式：bundle 不用于优化 objective，而用于构造 reduced Hamiltonian surrogate；smoothing 不只是数值 regularization，而被纳入 value-error budget；mesh refinement 不单独运行，而和 PA/delta refinement 竞争同一 outer-loop priority。
相对 direct methods，本方法的本质差异是控制变量不作为 NLP unknown，而通过 Hamiltonian minimization/oracle 被吸收进 H_delta；因此结构更接近 canonical dynamics。但这也带来约束处理能力弱、local optimality 强依赖初值的问题。相对 HJB/occupation measure，它牺牲全局性换取 trajectory-level scalability。
Dataset / Evaluation
实验覆盖了几类典型困难：长时域 boundary layer、非光滑 bang-off、singular localized dynamics、QP-oracle active-set switching。覆盖面作为 solver demonstration 是合理的，能显示不同 mode 下 indicator 和 refinement branch 的行为。
但 evaluation 支持的是“架构可运行且诊断行为合理”，不是“优于现有强 solver”。缺少与 direct collocation、sparse SQP/interior-point、多重 shooting baseline、纯 analytic smoothing baseline、无 PA enrichment baseline 的系统对比。Example 4 是最关键的证据，因为它真正使用 QP oracle 和三源 adaptive；其他例子更多验证单个分支或已知理论路径。
没有真实世界/真机实验，也没有高维状态问题。所谓 scalability 主要来自复杂度分析和 N 方向线性增长，而非 d、M、oracle cost 上的实证扩展。LQR appendix 反而说明 PA-softmin 在光滑问题上可能比闭式 smooth mode 明显更粗；这不是坏事，但说明 mode selection 很重要，不能把 PA-softmin 当普适最优。
Limitation
最大限制是认证边界很窄。论文明确是 value-first：indicator 支持的是 J_h 与 value 的若干 proxy decomposition，不给 state/costate/control pathwise error，不给 primal-dual gap，不给 global optimality。对 deployment 来说，这意味着输出轨迹可用但不强认证。
第二，PA majorant 的一侧误差解释依赖 control-based frozen extension，也依赖 f 和 l 解析可用。如果只给 black-box Hamiltonian、learned Hamiltonian 或 stochastic oracle，H_bar >= H 的结构可能消失，eta_PA 就退化成 diagnostic。也就是说，方法的最漂亮误差解释不是 oracle-free 的。
第三，小 delta 带来的 conditioning 是结构性问题，不是实现细节。soft-min 在 switch 附近 Hessian 约为 covariance/delta；越接近真实 nonsmooth Hamiltonian，Newton 越病态。delta annealing 是必要但不是根治。
第四，高维上限文中未充分说明。PA bundle 在 costate 维度上可能需要大量 planes 才能覆盖 active regions；QP oracle 成本、Jacobian assembly 的 NMd^2、Newton 的 Nd^3 都会在 d 或 M 增大时变成瓶颈。论文的实验没有证明 d >> 5 的可扩展性。
第五，local minima 仍是正交问题。PMP necessary condition 多根时，solver 只会找到 basin 内 extremal。多启动、homotopy、coarse global benchmark 仍是外部机制。这里不存在真正的全局 planning 或 reasoning；更像结构化 local refinement。
Takeaway
- 1. 最值得迁移的 insight 是把“模型误差、平滑误差、离散误差”显式分层，并让 adaptive controller 在这些层之间分配计算预算。
- 这比单纯 mesh refinement 更适合 oracle-based optimal control。
- 2. PA bundle 的价值不在于全局逼近 Hamiltonian，而在于沿 candidate trajectory 捕捉少数 active control regimes；这是 trajectory optimization 中很实用的 latent active-set reuse 思路。
- 3. Soft smoothing 应被看作 continuation/curriculum，而不是免费 regularization。
一句话总结
这篇论文不是提出新的最优控制理论，而是把 PA bundle、soft-min smoothing、symplectic PMP discretization 和三源自适应误差控制重组为一个 value-first 的 Hamiltonian-centered indirect solver，贡献主要在架构化误差分解与 oracle 信息复用。