IEEE Transactions on Robotics

A Differential Dynamic Programming Framework for Inverse Reinforcement Learning

作者：Kun Cao, Xinhang Xu, Wanxin Jin, Karl H. Johansson, Lihua Xie · 机构：Department of Control Science and Engineering, College of Electronics and Information Engineering, Tongji University, Shanghai, China; Shanghai Institute of Intelligent Science and Technology, National Key Laboratory of Autonomous Intelligent Unmanned Systems, and Frontiers Science Center for Intelligent Autonomous Systems, Ministry of Education, Beijing, China; School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore, Singapore; School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology, Stockholm, Sweden; School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore; School for Engineering of Matter, Transport, and Energy, Arizona State University, Tempe, AZ, USA; Division of Decision and Control Systems, School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology, Stockholm, Sweden; Digital Futures, Stockholm, Sweden

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：6267-6286

运动规划控制优化强化学习

精读笔记

Problem Setting

这篇论文解决的是 constrained optimal-control-form IRL，而不是一般意义上的 model-free IRL。内层问题是一个有限时域非线性 OC，代价、动力学和约束都可以由 θ 参数化；外层根据 demonstration 反推 θ。困难点在于：θ 到最优轨迹 Z(θ) 的映射是通过一个约束优化问题隐式定义的，外层更新需要对这个 argmin map 求导；同时 demonstration 往往不是一次 open-loop solve 后被独立噪声污染，而是在反馈控制执行中产生的闭环轨迹。

以前 PDP/SafePDP 这类工作已经把“可微分 OC 内层”做得比较清楚：通过 PMP/KKT 条件隐式求导，避免 unroll solver。但它们的外层 loss 仍主要是 trajectory imitation，即让 reproduced trajectory 贴近 demonstration。这在闭环数据上有根本错配：控制输入会响应前一时刻状态扰动，因此轨迹误差在时间上相关，且 state/control residual 不是独立 measurement noise。关键矛盾是：IRL 想恢复产生行为的 objective，但常用 loss 实际拟合的是闭环 rollout 的某个噪声 realization。

Motivation

作者不满足已有路线主要有两个原因。第一，DDP 在 prior work 中通常只是 inner solver，用来高效求最优轨迹；但 DDP backward pass 里已经计算了 Q_u、Q_ux、Q_uu、V_x、V_xx 等最优性微分量，这些量正是外层隐式求导需要的东西。也就是说，已有方法没有充分复用 DDP 的信息结构。

第二，open-loop loss 的统计假设与机器人 demonstration 的生成方式不一致。真实系统为了稳定性和鲁棒性几乎总是闭环执行，尤其是带低层控制器、扰动、电缆、模型误差的机器人。作者的核心缺口判断是：IRL 不应只问“这条轨迹是否接近”，而应问“这个 observed action 是否像是当前状态偏差下的最优反馈修正”。这就是 closed-loop loss 的动机。

Core Idea

论文真正的核心是把 Bellman/DDP 的局部二阶结构提升为 IRL 的外层学习信号。对 open-loop IRL，它把 θ 作为增广状态，做一次 augmented DDP recursion 来得到 dZ/dθ；这相当于用 DDP 形式重写 PMP implicit differentiation。其直觉是：最优控制律在 DDP 中已经被局部表示为 δu = k + Kδx，而当 θ 改变时，θ 的 perturbation 可以被看成状态 perturbation 的一部分，于是轨迹对 θ 的敏感性可以沿时间递推传播。

更有价值的是 closed-loop formulation：loss 不再比较 nominal Z(θ) 与 demonstration Z** 的欧氏距离，而是检查 demonstration 是否满足当前参数下的局部 feedback optimality residual。这个 inductive bias 很强：专家数据被建模为某个 DDP-style feedback controller 的 roll-out，而不是 open-loop plan 的 noisy observation。它重新组织了信息流：从“trajectory-level imitation”变成“local policy optimality matching”。这也是它泛化更好的主要原因，而不是某个优化技巧本身。

Method

1. Constrained DDP as common interface：论文构造了带等式和不等式约束的 interior-point DDP Bellman equation，引入 λ、γ 并得到修正后的 \hat Q 导数。它解决的问题是让一般 constrained OC 也能产生统一的 Q_u/Q_ux/Q_uu 等局部最优性量。核心变化不是又发明了一个 solver，而是把约束的影响压进 DDP 的局部二阶 Bellman 结构中。

2. Augmented-system gradient solver：把 θ 拼进状态 y=[θ,x]，在最优轨迹附近做一次 DDP backward-forward recursion，得到 dZ/dθ。它解决的是 bilevel IRL 的外层梯度瓶颈。相比 unrolling solver，这个机制直接对最优性条件求导；相比 PMP，它保留 DDP 反馈形式，并复用 DDP 中间矩阵。

3. Closed-loop loss：定义 ε = \hat Q_u + \hat Q_ux(x**−x)+\hat Q_uu(u**−u)。如果 demonstration 来自 DDP feedback law，那么在真实 θ 下该 residual 应接近零。它解决的是 open-loop MSE 对闭环数据的偏置问题。核心变化是将监督信号从 state/action absolute matching 改成 local feedback consistency matching。

4. Recoverability condition：论文给出 rank(J)=m_θ 作为可恢复条件，并在若干假设下把 closed-loop IRL 退化为 constrained IOC 的线性残差最小化形式。这部分的作用是说明 closed-loop residual 不只是启发式 loss，而能连接到 IOC 中的可辨识性条件。

Key Insight / Why It Works

最重要的 insight 是：闭环 demonstration 中真正稳定的对象不是 nominal trajectory，而是局部 feedback relation。open-loop trajectory 在噪声下会漂移，且后续控制会主动纠偏；因此逐点拟合轨迹会把反馈纠偏误认为不同 cost 参数造成的轨迹差异。closed-loop loss 直接拟合 Bellman stationarity 的局部线性化残差，相当于在 matching expert policy 的 differential behavior。这是本文最核心、最可迁移的贡献。

DDP-based gradient solver 本身更像是对 PDP/PMP implicit differentiation 的重新组织，而不是全新的可微优化理论。它的实质价值在于把 DDP 中已有的反馈增益和 curvature 信息暴露给外层 loss，从而使 closed-loop loss 可计算。单看 open-loop IRL，DDP 相对 PDP 的收益主要是工程和表达层面的：复杂度同为 O(N)，高维例子中更快可能来自更紧凑的向量化实现和复用中间矩阵，增益来源不完全是算法阶数上的突破。

closed-loop IRL 的性能提升不是 scaling，也不是 data coverage，而是 better inductive bias：loss 与数据生成机制对齐。它没有引入更强模型容量，反而利用更强结构假设缩小了可行解释空间。辅助部分包括 LM update、barrier DDP、active-set 变体等，这些主要影响数值稳定性和运行速度，不是核心科学贡献。

需要注意的是，这个方法的“泛化”本质上来自恢复了更接近真实的 cost 参数，而非学到了某种广义策略表示。planner 仍是 test-time OC solve，泛化依赖 cost parameterization 和动力学模型覆盖测试场景；它不是从 demonstration 中学习一个能跨大分布迁移的 policy。

Relation To Prior Work

最接近的技术谱系是 differentiable optimal control / inverse optimal control：PDP、SafePDP、DOC、KKT/PMP residual minimization，以及 DDP/iLQR 系列 constrained OC。与 MaxEnt IRL、apprenticeship learning、max-margin IRL 的关系较远，因为本文不是在 stochastic MDP 或 feature expectation matching 框架下工作，而是在 deterministic finite-horizon OC 中做结构化参数辨识。

与 PDP/SafePDP 的本质差异不是“能不能求梯度”——二者在梯度上等价；真正不同是 DDP 形式保留了 closed-loop feedback 信息，并把这些中间量用于定义新的外层 loss。换句话说，DDP-based open-loop IRL 是已有 implicit differentiation 思想的重组，而 closed-loop IRL 才是实质新增。

与 IOC residual minimization 相比，本文没有只停留在线性化的 KKT/PMP 残差，而是通过 DDP/Bellman residual 处理一般 constrained nonlinear OC，并给出在特定假设下退化到 constrained IOC 的可恢复条件。它扩展了传统 IOC 的约束范围，尤其不局限于 control constraints。但代价是一般情形下仍要反复 solve OC，而不像某些 IOC 方法只解一个 QP。

Dataset / Evaluation

实验覆盖了四类仿真机器人系统和一个真实四旋翼导航任务，任务范围包括 unconstrained/constrained、低维到较高维系统、参数恢复、rollout performance 和局部场景泛化。仿真实验证明了 DDP 与 PDP 梯度数值一致，也展示了 open-loop loss 在 closed-loop noisy demonstrations 下会降低 loss 但不一定降低参数误差，这很好地支撑了论文的核心诊断。

真实世界实验是有价值的，因为四旋翼受电缆扰动、层级控制架构和低层 PID 影响，确实是 closed-loop 数据生成。closed-loop IRL 学到的 gate 权重在若干局部变化下比 open-loop 更能完成任务，这支持“loss 与闭环生成机制对齐会改善部署”的 claim。

但 evaluation 的边界也很清楚：参数维度小，cost family 强人工设计，环境变化有限，真实泛化主要是同一几何任务附近的插值/轻微外推。失败案例显示当 gate 位置变化过大时，学到的 cost landscape 不能适应。因此实验验证的是 structured OC-IRL 场景下的局部泛化，而不是广义 imitation learning 的大分布泛化。

Limitation

第一，closed-loop loss 的正确性强依赖专家数据近似满足 DDP-style affine feedback law。若专家来自非局部 MPC、多模态策略、人类操作或高层离散决策，ε residual 可能只是拟合某个局部线性解释，未必对应真实 objective。文中对这类 mismatch 未充分说明。

第二，方法依赖可微、局部唯一、正则的内层 OC 解。约束活跃集变化、非凸多解、Q_uu 病态、barrier 参数选择都会破坏稳定求导。论文给出局部收敛和 rank condition，但实际复杂非凸场景中的 failure mode 仍主要靠经验处理。

第三，closed-loop IRL 需要三阶导或等价高阶敏感性计算。对手写机器人模型可行，但若 cost/dynamics 由神经网络参数化，显式高阶导数的内存、数值噪声和实现复杂度会成为上限。这里的 scalability claim 应理解为 horizon 方向 O(N)，不是模型维度或参数维度无代价扩展。

第四，泛化能力主要来自 cost parameterization 的先验，而不是算法自动发现任务结构。真实四旋翼实验中代价函数已编码 gate center、时间权重、控制惩罚等强先验；算法只学习两个权重。核心能力可能主要来自人工特征覆盖了任务变化，closed-loop IRL 的贡献是减少参数偏置。

第五，如果动力学模型错误，closed-loop residual 可能把 model mismatch 吸收到 cost/constraint 参数里。论文允许学习 dynamics 参数，但真实系统中模型误差、低层控制器延迟、未建模扰动与 cost 参数之间的可辨识性并不清楚。

Takeaway

  • 1. 对机器人 IRL 来说，outer loss 的数据生成假设可能比 inner solver 更重要；闭环数据用 open-loop MSE 拟合会产生结构性偏置。
  • 2. DDP 的价值不只是快速解 OC，而是提供局部 feedback/cost-to-go curvature，这些中间量可以成为 inverse problem 的监督信号。
  • 这个思路可迁移到 differentiable MPC、system ID、safe learning 等需要区分 trajectory matching 和 policy matching 的问题。
  • 3. 本文真正推动的是从“匹配轨迹”到“匹配局部最优反馈关系”的 IRL 表述；DDP-based gradient 是支撑这个表述的技术基础。

一句话总结

这篇论文处在 differentiable optimal control / IOC 系谱中，真正贡献不是用 DDP 替代 PMP 求梯度，而是利用 DDP 的局部反馈最优性把 IRL 从 open-loop trajectory imitation 改写为 closed-loop policy consistency learning。