精读笔记

Problem Setting

这篇论文不是在重新定义 IOC，而是在处理一个更具体的数值-几何问题：如何在保持“把观测轨迹投影到最优轨迹集合”这一 IOC 语义的同时，避免 bilevel 反复求 DOC 的计算负担，并避免 PIOC 的退化约束。真正困难点不在 KKT 条件本身，而在最优轨迹集合的几何性质：它由 stationarity 的秩亏条件定义，天然是 determinantal variety / singularity curve，而不是一个可直接用 det(J^T J)=0 交给 IPM 的普通等式约束。

以前方法卡在两个极端：bilevel 方法数值上稳健但外层通常依赖 Powell/COBYLA 等无导数搜索，DOC 调用次数高；KKT residual / inverse KKT 类方法更快，但优化目标从“贴近观测轨迹”变成“满足最优性残差”，这在带噪真实示教下语义并不等价；PIOC 试图保留轨迹投影，但其 det 约束在可行集上梯度为零，导致 LICQ 失败。关键矛盾是：projection 语义需要在最优解集合上做几何优化，而标准欧氏约束优化恰好不适合描述这个秩亏集合。

Motivation

作者的动机来自一个很具体的缺口：PIOC 已经指出 IOC 可以看成对 singularity curve 的投影，但这个 formulation 不能被常规梯度优化器稳定求解。这里不是缺一个更好的 line-search 或 penalty 参数，而是缺一个正确的搜索空间。det(J^T J)=0 只是在集合论上刻画 SC，作为数值约束却非常糟糕，因为 SC 是 det 的最小值集合，约束梯度在集合上退化。

因此这篇论文的核心观察是：如果最优轨迹集合局部本来就是由 cost weight 参数化的光滑流形，那么应该直接在该流形上优化，而不是在 ambient trajectory space 中用退化等式把它“夹”出来。换句话说，缺的不是新的 IOC objective，而是把 DOC solution map D(ω) 的局部微分结构显式拿出来，用它替代外层黑盒搜索。

Core Idea

核心思想可以概括为：把 IOC 的外层变量从轨迹 s 换成归一化 cost weight 坐标 γ，但又不退回传统黑盒 bilevel；外层目标仍然是轨迹投影距离 ||s_obs-D(γ)||²，只是 D(γ) 的梯度通过 KKT sensitivity / Riemannian Jacobian 显式计算。这样，搜索路径始终沿着满足 KKT 的 DOC 解流形移动，可行性由构造保证，而不是由退化的 determinant constraint 维持。

本质区别在于建模方式的改变：PIOC 是“在轨迹空间中约束到秩亏集合”，RIOC 是“把秩亏集合局部参数化后在其上优化”。这引入的 inductive bias 是很强的：所有候选解都必须是某个归一化权重下的局部最优 DOC 轨迹。因此它牺牲了一些全局表达自由度，换来数值稳定性和更低维的外层搜索。scalability 的来源主要不是 magic Riemannian optimization，而是把外层从 m 维轨迹约束优化压到 n_c-1 维权重流形，并且用隐式梯度替代无导数搜索。

Method

1. 最优轨迹集合的流形化：作者把 stationarity 定义的 SC 与 primal feasibility 集合 G 相交，得到 M=SC∩G。它解决的是 PIOC 中 determinant constraint 退化的问题；需要它是因为只有当该集合可视为光滑流形时，沿流形的梯度优化才有意义；核心变化是从“约束满足”转为“可行集参数化”。

2. 权重归一化参数 γ：用 L1 归一化把 ω 的尺度不辨识去掉，令 γ∈R^{n_c-1} 表示前 n_c-1 个权重，最后一个由 1-sum γ 决定。它解决 IOC 权重尺度不唯一和流形维度冗余；需要它是因为 stationarity 对权重/乘子存在齐次性；核心变化是把外层搜索维度固定为 cost basis 的自由度。

3. Riemannian Jacobian / implicit sensitivity：通过线性化 KKT 系统得到 ∂D/∂γ。关键公式本质上是把 Hessian of Lagrangian M 投影到 equality-constraint tangent nullspace N 上，得到 ∂D/∂γ = -N(N^T M N)^{-1}N^T J_ω ∂ω/∂γ。它解决的是外层梯度无法从黑盒 DOC 得到的问题；需要它是因为否则 RIOC 只是低维 bilevel；核心变化是把 DOC solver 的 KKT 结构复用于外层优化。

4. 不等式约束的 barrier 平滑：作者没有显式追踪 active set，而是沿 IPM central path 用 F_barrier 形成平滑 stationarity，并用 M_μ 替代 M。它解决 active/inactive 切换导致的梯度不连续；需要它是因为真实 DOC 有 joint/torque bounds；核心变化是把分层流形问题近似成一个随 μ_target 平滑的流形问题。这个部分更偏 engineering，但对可用性关键。

Key Insight / Why It Works

最核心的贡献是对 PIOC 失败原因的诊断：det(J^T J)=0 作为等式约束在可行集上没有有效一阶信息，因此 LICQ 失败不是偶然数值病态，而是 formulation 本身错误。这一点很重要，因为它解释了为什么“有解析梯度”并不意味着“适合梯度优化”。对于熟悉非线性规划的人，这相当于指出 PIOC 把一个秩亏 variety 的奇异刻画误当成 regular level set。

RIOC 有效的主要原因不是 Riemannian optimization 这个标签，而是三个机制叠加：第一，显式消除了 determinant constraint 的退化；第二，把可行性内生化，使外层迭代不会跑出 KKT solution manifold；第三，用 KKT sensitivity 给外层提供低维、结构化梯度。这属于 better inductive bias + implicit differentiation + dimension reduction，不是 scaling，也不是 data-driven 泛化。

最可能的核心贡献是 Riemannian Jacobian 的构造及其几何解释。它把 DOC 的二阶局部结构 M 和约束切空间 N 组合起来，直接描述 cost-weight perturbation 如何推动最优轨迹在可行流形上移动。这个对象也自然暴露 identifiability：如果 N^T M N 病态或 J_ω 在切空间中秩不足，某些 cost basis 的变化不会产生可区分轨迹变化。

相对辅助的部分是不等式约束处理。barrier continuation 让梯度连续，但它并没有真正解决 active-set 流形的分层几何，只是沿 IPM 近似路径规避了不可微点。这个选择合理且实用，但更像把成熟 NLP 工程嫁接到几何 IOC 上。文中关于条件 3–6 的讨论提供了理论边界，但实际算法如何在条件失败时退化、重启或选择分支，文中未充分说明。

Relation To Prior Work

最接近的是三条线：classical bilevel IOC、inverse KKT / KKT residual 方法、以及 Colombel 等人的 holistic / PIOC singularity-curve 视角。RIOC 不是脱离这些路线的新范式，而是把 PIOC 的几何解释和 bilevel 的 solution-map 参数化结合起来，再用 implicit differentiation 让外层可导。

和 bilevel 的本质差异：bilevel 把 DOC 当黑盒 map D(ω)，通常用无导数外层搜索；RIOC 仍然优化 D(γ)，但打开了 DOC 的 KKT 系统来计算 sensitivity。因此它不是取消内层 DOC，而是减少外层探索成本。若把 bilevel 也用隐式微分和梯度法实现，两者边界会变得更接近；论文对此区分不够充分。

和 KKT residual / inverse KKT 的差异：那些方法直接拟合最优性条件，常常不保证投影意义下接近观测；RIOC 保留了轨迹距离目标，KKT 只用于定义可行流形和梯度。这是实质差异，尤其在 noisy demonstration 下重要。

和 PIOC 的差异最关键：PIOC 用 det(J^T J)=0 在 ambient space 中约束轨迹，RIOC 用权重参数化沿解流形运动。看似都是 projection-based IOC，但一个是退化等式约束，一个是流形上的低维优化。真正新增的信息不是“最优轨迹形成曲线”这个观点，而是解释为什么 determinant formulation 数值上不合格，并给出可用的 Riemannian sensitivity 形式。

Dataset / Evaluation

实验使用真实人臂 reaching / pointing 数据和二维二自由度手臂模型，任务具有真实测量噪声，但覆盖范围较窄：单一运动类型、低维动力学、有限 cost basis、少量轨迹。它能验证“在经典人臂 IOC setting 中，RIOC 比无导数 bilevel 更快且精度相当”这一 claim，但不能支撑“适用于 realistic high-dimensional robotics systems”的强泛化说法。

评估的主要优点是对比对象合理：classical bilevel 是该领域常用基线，且指标关注重建误差而非仅 KKT residual，符合论文的 projection 立场。结果中 RIOC 大约四倍加速、误差相近，这和方法机制吻合：低维梯度外层减少 DOC 调用。

明显 limitation 是实验没有系统 ablation。比如缺少：PIOC+非梯度/regularized determinant、bilevel+implicit gradient、不同 cost basis 条件数、不同 μ_target、不等式 active-set 边界附近的 stress test。因而增益来源不完全清楚：可能主要来自“用梯度替代 derivative-free 外层搜索”，而不是 Riemannian formulation 全部带来的收益。P5 的失败也提示 cost basis misspecification 仍是主导误差源之一，优化器只能部分缓解。

Limitation

1. 正则性前提很强。方法依赖 SC∩G 是光滑流形，依赖 LICQ、秩条件、横截性和局部唯一性。真实非凸 DOC 中多局部最优、多解、路径切换都很常见；一旦 D(γ) 不是单值光滑 map，RIOC 的梯度语义会变得模糊。

2. 它没有消除 DOC 求解成本，只是改变外层搜索方式。每个 γ 仍需要得到对应 DOC 解，并计算 KKT sensitivity 线性系统。对于高维轨迹、多接触机器人或长时域 OCP，scalability 上限会由稀疏 KKT 线性代数、Hessian conditioning 和 warm-start 成功率决定。

3. 不等式约束的处理是 central-path 近似。active-set 切换的真实几何是分层/非光滑的，barrier 只是让其在 μ_target>0 时变平滑。μ_target 过大时偏离真实 KKT，过小时条件数恶化；文中没有系统分析这个 trade-off。

4. cost identifiability 仍然没有解决。若 cost features 高相关或在当前任务分布下不可区分，RIOC 会更快地得到一个解释，但不保证解释唯一或可解释。论文最后提到可用 M 的秩/条件数分析 feature redundancy，这是很重要但尚未完成。

5. 和现代 differentiable optimization / implicit bilevel 的边界不够清楚。若 classical bilevel baseline 使用 derivative-free 方法，RIOC 的速度优势部分来自 baseline 较弱。需要和隐式微分 bilevel、adjoint sensitivity OCP、differentiable MPC/OCP 进行更直接比较。

Takeaway

• 1. 对 projection-based IOC 来说，正确的对象不是 determinant equality，而是由 KKT solution map 诱导的低维流形；把秩亏集合当 regular level set 会直接破坏梯度法。
• 2. 这篇真正推动的是“几何 IOC 的数值可实现性”：它把 holistic / singularity-curve 视角从解释性图景推进到可计算 sensitivity。
• 3. 最值得迁移的 insight 是：很多 inverse optimization 问题中，可行解释集合是由最优性条件定义的隐式流形；与其惩罚 KKT residual，不如在该流形上做投影，并用 KKT 线性化提供 tangent dynamics。
• 4. 未来真正值得做的是 identifiability-aware RIOC：用 Riemannian Jacobian / projected Hessian 的秩和条件数自动筛 cost basis、检测不可辨识方向，并处理多分支 DOC 解流形。

一句话总结

这篇论文把 PIOC 的 singularity-curve 直觉改造成基于 KKT sensitivity 的 Riemannian / implicit-differentiable IOC，是 projection-based IOC 从退化欧氏约束走向可用流形优化的一步，但其收益目前主要验证在低维、正则、DOC 可稳定求解的 setting 中。