精读笔记

Problem Setting

【A Sequential Quadratic Programming Perspective on Optimal Control】（arXiv preprint / 2026）

这篇论文解决的不是“如何提出一个新 trajectory optimizer”，而是一个更基础的归因问题：在离散时间非线性最优控制里，Newton、DDP、iLQR 到底各自在解什么局部二次问题，为什么实践中 iLQR 往往比看起来更“二阶”的 DDP 稳。

真正困难点在于局部二阶模型的可靠性。对最优控制，变量之间有动力学等式约束；Newton step 本质上是对 Lagrangian 做二阶展开并解一个 QP。但 Lagrangian Hessian 包含 multiplier × dynamics Hessian 项，这些项远离最优时没有正定性保证。于是“更完整的二阶信息”不一定更好，可能直接把 QP 变成非凸或给出非下降方向。

以前方法卡在一个概念混淆：DDP 被视为 Newton-like、局部二阶收敛；iLQR 被视为 DDP 去掉动力学 Hessian 的近似。这个说法忽略了 globalization 的核心问题：局部最优附近的二阶精度和远离最优时的下降保证是冲突的。本文的关键矛盾就是：要不要为了局部二阶收敛把不定曲率放进 backward pass，还是牺牲部分二阶信息来获得一致的 SQP 下降方向。

Motivation

作者的核心观察是：所有这些方法每轮都在解一个 QP，而差异不在“是否二阶”，而在“QP 的 Hessian 采用什么近似”。一旦从 SQP 视角看，iLQR 的形式就不再是 DDP 的弱化版，而是一个标准的 modified SQP / Gauss-Newton 型选择：线性化约束，二阶化成本，避免使用会破坏正定性的约束 Hessian 项。

已有路线不够的地方在于，它们过度强调 DDP 的局部二阶收敛，低估了远离最优时 Hessian 不定导致的方向污染、cost prediction 失真和 line-search 过度冷却。尤其在 trajectory optimization 实践中，warm start 不一定足够接近最优；MPC 虽然有 warm start，但模型误差、扰动、接触切换都可能把迭代点推到非局部区域。这时“局部二阶更精确”不是优势，反而可能是负担。

因此本文想补上的缺口是：给 iLQR 一个原则性解释，并明确 DDP 的适用边界——DDP 的动力学 Hessian 项只有在接近 extremal / optimum 时才是有益曲率；远离该区域时，它们只是没有正定保证的二阶噪声。

Core Idea

核心思想可以压缩成一句话：iLQR 是对 constrained optimal control 的一个保守但一致的 SQP 近似，DDP 是对 Newton / neighboring extremal 的一个局部有效但全局不稳的二阶近似。

具体地，标准 Newton-SQP 会构造 Hessian：objective Hessian + multiplier × constraint Hessian。映射到最优控制后，constraint Hessian 就是 dynamics Hessian，multiplier 就是 costate / value gradient。因此 DDP 的 Q_xx、Q_ux、Q_uu 中出现 λ 或 v 乘以 f_xx、f_ux、f_uu 的 tensor terms。这些项理论上提供了动力学非线性的二阶曲率，但也正是这些项使 Q_uu 可能不正定。

iLQR 则采用另一种建模：动力学只以一阶线性约束进入 QP，成本保留二阶项。这个模型在信息使用上更“少”，但在优化意义上更一致：既然 forward rollout 用真实动力学恢复可行性，backward pass 的任务主要是给出可靠下降方向，而不是构造一个远离最优也准确的二阶动力学模型。这种 inductive bias 是保正定、保下降，而不是追求局部二阶精度。

本质区别不是计算量少一点，而是曲率来源不同：DDP 使用 Lagrangian true Hessian 的近似，iLQR 使用 Gauss-Newton / SQP 的 PSD 曲率近似。前者上限更高但需要局部性，后者更适合作为全局化迭代骨架。

Method

1）把 constrained Newton 写成 QP：这是全文的基准坐标系。它解决的是“这些算法到底在解什么”的问题。关键变化是把 Newton、DDP、iLQR 从动态规划术语拉回到 SQP 术语下，比较 Hessian 选择而不是比较公式外观。

2）modified QP：去掉 multiplier × constraint Hessian，只保留 objective Hessian 和线性化约束。它解决的是远离最优时 Newton Hessian 不定的问题。核心变化是用更保守的 PSD 曲率替代真实但不可靠的 Lagrangian 曲率。

3）iLQR 等价于该 modified SQP 在最优控制稀疏结构上的 Riccati 解法。它解决的是大规模 QP 不能直接求逆的问题。核心变化不是算法新颖性，而是证明 iLQR backward pass 正是在解这个结构化 QP；因此它不是“少算了 DDP 的项”，而是“选择了一个可下降的 QP”。

4）DDP / Stagewise Newton 的定位：DDP 使用 dynamics Hessian tensor terms，Stagewise Newton 还使用线性化 forward propagation。论文指出 Stagewise Newton 的 forward pass 会丢掉真实 rollout 中高阶 α 项，导致与 DDP/iLQR 相比收敛慢；DDP 虽使用 nonlinear rollout，但 backward model 中混合一阶和二阶信息，远离最优时会导致 predicted / actual cost mismatch。

5）near-optimum neighboring extremal 分析：在最优点，一阶项消失，二阶变分问题的 Riccati 方程与 DDP feedback 一致。这解释了 DDP 近最优时为什么确实应当更快，也避免把论文立场简化成“DDP 不好”。

Key Insight / Why It Works

最重要的 insight 是：对 trajectory optimization，稳定性往往来自“曲率一致性”而不是“曲率完整性”。DDP 加入的动力学 Hessian 项看似更高阶，但它们由 costate / value gradient 加权；远离最优时 costate 本身就是当前局部模型下的量，不应被当成可靠的二阶曲率权重。结果是 Q_uu 可以变负或不定，expected reduction 的符号不再可信，line-search 会被迫频繁缩小 α，甚至出现不现实的成本预测。

iLQR 有效的核心原因是它本质上在做 Gauss-Newton-style globalization：用一阶动力学保持模型一致，用成本 Hessian 提供可控曲率。只要 stage cost 的 control Hessian 正定、terminal / stage Hessian 半正定，Riccati recursion 中 Q_uu 正定可以通过 Schur complement 传递。这是本文最实质的理论贡献。

DDP 的优势不是假的，但它是局部优势。接近最优时，一阶残差小，costate 与 neighboring extremal 的二阶变分结构匹配，动力学 Hessian 项开始变成“正确曲率”而不是噪声。这时 DDP 的 quadratic convergence 可以体现出来。也就是说，一个合理的实践判断是：iLQR 更像 robust globalization engine，DDP 更像 local fast finisher。

论文中实验增益有一部分可能来自 regularization 策略和初始化区域，而不完全是算法本体。DDP 如果配合更成熟的 trust-region、modified Cholesky、projected Hessian 或 control-limited regularization，差距可能缩小。文中对 DDP 的批评在 unregularized 情况下非常有力，但对工业级 regularized DDP solver 的结论需要更谨慎。

这不是 scaling、data coverage、retrieval 或 representation 问题；它是一个优化几何问题。核心贡献在于重新定义了“丢掉二阶动力学项”的意义：这不是 engineering shortcut，而是更好的 inductive bias——优先保证下降方向，而非追求局部模型完整性。

Relation To Prior Work

最接近的技术谱系是 DDP/Newton equivalence、SQP for nonlinear programming、Gauss-Newton / iLQR / iLQG trajectory optimization。与 Pantoja、Murray & Yakowitz、Shoemaker/Liao 等工作相比，本文不是首次指出 DDP 与 Newton 有联系，也不是首次观察 DDP 需要 regularization；真正新增的是把 iLQR 明确放到 modified SQP 的正统位置，并用 descent direction 的角度解释为什么它远离最优更稳。

与传统说法“iLQR = DDP without second-order dynamics”相比，本文的本质差异是价值判断反转：省略项不是近似误差，而是 convexification / globalization。这个解释和数值优化里的 Gauss-Newton、SQP Hessian approximation、BFGS safeguarding 更接近，而不是动态规划内部的公式简化。

与 Stagewise Newton 的关系也值得注意。论文认为文献中的 Stagewise Newton 并非 exact Newton LQR，因为它对 multiplier / costate 的更新做了线性近似，并且 forward pass 使用线性化扰动而非 nonlinear rollout。这部分是有价值的澄清，但文中推导略显冗长，严格性和符号一致性仍可加强。

看似新的部分主要是重新组织已有思想：SQP、Riccati recursion、DDP tensor terms、neighboring extremal 都是老工具。实质创新在于把这些工具串成一个清晰判断：iLQR 是 principled SQP；DDP 是 near-optimum Newton-like method；二者不是简单精度层级关系。

Dataset / Evaluation

评估覆盖 pendulum、cart-pole、hypersensitive OCP、两个来自 Liao/Shoemaker 风格的高维离散 benchmark。任务选择基本能支撑论文的机制 claim：低维机械系统展示 Q_uu 不定、line-search cooling 和 cost prediction failure；高维 benchmark 展示 iLQR 在无需或少量 regularization 下可以比 DDP / Newton 更稳；近最优初始化展示 DDP 的局部优势。

但这不是一个强泛化评估。没有真实机器人、没有接触、没有控制约束、没有状态不等式约束、没有 MPC 闭环部署。所有实验更像 numerical optimization diagnostics，而不是系统级控制验证。对于论文主张“iLQR 更可靠”而言，这种评估是够用的；对于更强主张“iLQR 实践上优于 DDP”则不够。

实验没有大段 ablation 去分离 regularization、line-search rule、rollout strategy、Hessian modification 的影响。尤其 DDP 的表现高度依赖 regularization；文中有些比较使用 unregularized DDP 来暴露问题，这是合理的机制展示，但不能直接代表成熟 DDP solver 的最佳表现。

neighboring extremal feedback 的噪声稳定实验说明 DDP feedback 在最优附近有意义，但验证较浅，更像 sanity check。它支持“DDP feedback = first-order optimal feedback near optimum”，但没有深入比较 iLQR feedback、LQR tracking、TVLQR 或 stochastic robustness。

Limitation

1）理论保证依赖成本凸性。Assumption 中要求 c_uu ≻ 0、terminal Hessian 半正定、stage cost Hessian 半正定。很多实际任务使用非凸目标、障碍物 penalty、周期角度误差、接触相关成本，这些条件可能不成立。此时 iLQR 的 descent guarantee 需要额外 regularization，论文没有充分展开。

2）可行性论证偏理想化。文中说 line-search 可使新解可行，但在最优控制中通常通过 nonlinear rollout 保持动力学可行，而不是通过线性化约束精确可行。对额外状态/控制约束、路径约束，该说法不够。若进入 constrained trajectory optimization，SQP 的 merit function、filter、active-set 或 augmented Lagrangian 才是关键，本文基本没有处理。

3）DDP 的上限没有被系统刻画。论文承认 DDP 近最优更快，但没有给出切换条件或曲率可信性的判据。实际最有价值的可能不是 iLQR vs DDP 二选一，而是 safeguarded DDP / hybrid iLQR-DDP。

4）regularization 归因不完全清楚。DDP 表现差有时来自 Q_uu 不定，有时来自 cost prediction mismatch，有时来自 line-search rule 和正则化策略。文中实验足以说明风险存在，但不足以量化每个因素的贡献。增益来源不清的部分主要在 regularized DDP 对比上。

5）scalability claim 主要是结构复杂度 O(T) 的经典事实，不是本文新贡献。对高维系统的真正瓶颈——二阶动力学张量计算、自动微分开销、稀疏结构、并行化、接触模式切换——讨论有限。

6）论文文本中部分符号和推导存在不够严谨之处，例如某些矩阵块写法、正定性论证和 feasibility 表述需要更精确。整体 insight 是对的，但若作为严格数值优化理论论文，还需要更完整的定理条件和收敛证明。

Takeaway

• 1）最值得记住的是：iLQR 不是低配 DDP，而是 Gauss-Newton / SQP globalization 在最优控制结构上的实现。
• 这个视角会改变算法选择逻辑。
• 2）动力学 Hessian 项不是免费午餐。
• 它们在最优附近是有用曲率，在远离最优时可能是不定噪声；“更多二阶信息”不等于“更好优化”。

一句话总结

这篇论文把 iLQR 从“DDP 的工程近似”重新定位为“带下降保证的 SQP/Gauss-Newton 轨迹优化方法”，并说明 DDP 的二阶动力学曲率本质上是近最优局部加速项而非全局可靠搜索机制。