精读笔记
Problem Setting
论文标题：Gradient based Bilevel for Inverse Optimal Control, a Riemannian approach（arXiv preprint / 2026）。
这篇论文解决的不是一般意义上的 IOC，而是 IOC 中一个更具体的计算几何问题：如何在不牺牲“离观测轨迹最近”这个目标的前提下，避免 bilevel IOC 的外层权重搜索 + 内层 DOC 反复求解，同时不落入 PIOC 的退化约束陷阱。
关键矛盾是：实际 IOC 想要的是 orthogonal projection 到“可由某个 cost 解释为最优”的轨迹集合；但这个集合不是一个适合用普通 equality constraint 描述的欧式可行域。PIOC 用 det(J(s)^T J(s))=0 表示 stationarity singularity，看起来把 IOC 变成了单层约束优化，但由于 det(J^T J) 非负且在 singular set 上取极小值，其梯度在可行集上为零，直接破坏 LICQ。于是 solver 不是慢，而是问题表示本身让梯度法失去几何方向。
以前方法卡在两端：bilevel 精确但 expensive，尤其外层常用 derivative-free；KKT residual 快但目标偏了，不一定贴近 observation；PIOC 目标对了但约束退化。本文试图填的是这三者之间的空：保持 projection objective，同时给 gradient-based 方法一个不退化的搜索空间。
Motivation
作者真正的观察是：PIOC 的不稳定不是数值实现细节，而是因为它把一个 determinantal variety / singularity set 当成普通光滑等式约束处理。沿着 SC，det(J^T J)=0 是一个最小值集合，constraint gradient 消失，因此 IPM 所依赖的 KKT linearization 必然病态。换句话说，问题缺的不是更好的 determinant gradient，而是正确的几何坐标。
由此自然想到 Riemannian optimization：如果 optimal trajectories 的集合在适当 regularity 条件下本来就是一个 manifold，那么就不应该在 ambient Euclidean space 中用退化等式把它“钉出来”，而应该直接在这个 manifold 上优化。这个动机是合理的，也比单纯说“用 Riemannian 方法加速”更有内容。
关键缺口在于：已有 holistic / PIOC view 已经指出了 IOC 可看作对 singularity curve 的投影，但没有给出一个满足 constraint qualification、能被一阶优化可靠利用的局部参数化。本文的方向就是用 cost weights 的归一化坐标 γ 作为 manifold 参数，并用 KKT sensitivity 计算切向梯度。
Core Idea
核心思想可以压缩为一句话：不要优化 det(J(s)^T J(s))=0 这个退化约束，而是把满足 KKT stationarity 和 primal feasibility 的轨迹集合视为由 cost weight 参数化的解流形，在这个流形上做到观测轨迹的最小距离投影。
这改变了建模方式。bilevel 把 ω 当作外层变量，每次通过 DOC 黑箱得到 D(ω)；PIOC 把 s 当作变量，用 singular determinant constraint 描述“存在某个 ω 使其 optimal”；RIOC 则把 D(γ) 看成 manifold embedding，并显式计算 ∂D/∂γ。信息流从“反复调用 solver 比较轨迹”变成“沿 KKT 解流形的切空间移动”。这引入的 inductive bias 是：搜索只能发生在 locally optimal trajectories manifold 上，因此 feasibility / optimality 由构造保证，而不是由 penalty、residual 或退化约束逼近。
本质区别不是用了 Riemannian 这个标签，而是它把 IOC 的可行集从 implicit singular algebraic constraint 改成了 regular local chart。理论上这会更适合 gradient-based search，因为梯度方向位于 tangent space，不再依赖 determinant constraint 的法向梯度；也可能更 scalable，因为搜索维度接近 cost basis 维度 n_c-1，而不是完整轨迹维度 m。但这种 scalability 只在 n_c 远小于 trajectory dimension 且 sensitivity 线性系统可稳定求解时成立。
Method
1. 用 γ 参数化归一化 cost weights：解决 cost scale non-identifiability。ω 被限制在 simplex-like 区域，γ 维度为 n_c-1。这一步的核心变化是把 IOC 的搜索空间固定到 cost-weight manifold 上，而不是在 trajectory ambient space 中自由搜索。它是必要的，但不是最原创部分。
2. 把 KKT 解集写成 M=SC∩G：SC 来自 stationarity singularity，G 来自 equality feasibility。作者给出一组条件使其可视为光滑流形，包括 smoothness、DOC LICQ、J 的 differential rank、rank(J) 不低于 n-1，以及两个 transversality 条件。这里的关键不是条件本身有多容易验证，而是它们说明了 PIOC 的 feasible set 需要按 manifold 处理，而不是按普通 equality constraint 处理。
3. 通过 KKT 隐式微分计算 Riemannian Jacobian：对 equality-constrained DOC，利用 J_λ 的 null space N，把轨迹扰动限制在 primal-feasible tangent space 中，得到 ∂D/∂γ = -N(N^T M N)^{-1}N^T J_ω ∂ω/∂γ。它解决的是“如何获得沿最优解流形的梯度方向”。核心变化是从黑箱 DOC 调用转为 sensitivity-aware projection。
4. inequality constraints 用 barrier 平滑：active-set 切换会让 solution manifold 的切向方向不连续，作者用 IPM barrier 把 inequality 的影响吸收到 M_μ 中，避免显式判断 active set。这是实际可用性需要，但也引入 barrier approximation；它更像让 RIOC 兼容 IPOPT/IPM 语义的工程机制，而不是主要理论贡献。
5. 最终优化目标仍是距离观测轨迹最近：min_γ ||s_obs-D(γ)||^2，并加正权重约束。也就是说，RIOC 没有改变 IOC 的 projection objective，改变的是 projection 的坐标系和梯度计算方式。
Key Insight / Why It Works
最重要的 insight 是：PIOC 失败的根因是 constraint qualification violation，而不是 determinant 约束难微分。det(J^T J)=0 定义的是一个奇异/退化集合；在该集合上 determinant 作为非负函数达到极小，因此一阶法看不到有效法向。这解释了为什么标准 IPM 会遇到 singular KKT system。这个诊断本身是本文最有价值的部分之一。
RIOC 有效的原因更接近“better inductive bias + representation alignment”，不是 scaling magic。它把优化方向对齐到 KKT 解流形的 tangent space：每一步都对应 cost weights 的小变化所诱导的 optimal trajectory 变化。这样优化器不再需要在巨大轨迹空间里同时满足 stationarity、primal feasibility、projection objective，而只需要在一个低维 chart 中调节 projection。对 IOC 这种 cost basis 通常较小的问题，这个重参数化天然减少搜索自由度，也减少无效方向。
真正的核心贡献是 KKT sensitivity 在几何投影视角下的组织方式。严格说，隐式微分 KKT / sensitivity analysis 本身不是新东西；新意在于用它修复 PIOC 的退化几何，并把 projection-based IOC 变成一个 regular Riemannian optimization problem。论文中“Riemannian”部分有一定包装成分：实际实现更像是在 cost-weight chart 上做 constrained smooth optimization，并用 KKT-derived Jacobian 计算 D(γ) 的梯度；是否需要完整 Riemannian optimization machinery，文中没有充分证明。
哪些可能只是辅助：γ 的 1-norm normalization 是标准做法；barrier handling 是工程上继承 IPM 的平滑技巧；实验中的 4x speedup 很可能部分来自低维有梯度搜索替代 derivative-free bilevel，而不完全来自“流形”本身。增益来源不清：没有和直接 KKT implicit differentiation bilevel gradient、active-set sensitivity IOC、或同样维度的 gradient-based outer optimization 做消融。
方法不是 retrieval、不是 data coverage 驱动，也不是 test-time compute 堆叠；它的机制更接近 latent structure exploitation：把 hidden optimality manifold 显式化，并在该结构上投影。它的上限则由 manifold 假设和条件数决定。一旦 DOC 多解、rank drop、cost basis 冗余、非横截相交，所谓流形 chart 可能破裂，梯度方向会失真。
Relation To Prior Work
最接近的谱系有三条：经典 bilevel IOC、KKT-residual / inverse KKT 类方法、以及 Colombel 等人的 holistic / PIOC singularity curve view。
相对 bilevel，RIOC 没有改变“通过 cost weights 解释 trajectory”的基本范式，也仍然依赖 DOC optimality 条件。真正不同是 bilevel 把 inner DOC 当作黑箱映射 D(ω)，外层通常无梯度或昂贵；RIOC 显式利用 KKT sensitivity 给 D 的局部几何，从而把外层搜索变成沿解流形的投影。它不是完全摆脱 bilevel，而是把 bilevel 的内层结构微分化、几何化。
相对 KKT-residual 方法，RIOC 保留了 projection-to-observation 的目标。KKT residual 方法容易学到“满足一阶条件但不一定接近示范”的解；RIOC 的目标仍然是最近轨迹，所以更符合实际 motion imitation / human motion modeling 需求。这是实质差异。
相对 PIOC，RIOC 的贡献最清楚：PIOC 给出“IOC 是投影到 singularity curve”的几何解释，但用 determinant equality 作为约束导致 LICQ 失败；RIOC 接受这个几何解释，但换成 manifold parameterization 和 tangent-space gradient。可以说本文不是推翻 PIOC，而是修正 PIOC 的数值实现范式。
看似新的部分中，KKT 隐式微分、null-space projection、barrier smoothing 都是优化领域已有工具；实质创新在于把这些工具组合到 IOC projection geometry 中，并明确指出 determinant formulation 的病态根源。
Dataset / Evaluation
实验使用真实 human arm pointing trajectories，二维双关节模型，多重 shooting DOC，cost basis 包括关节速度/加速度、末端速度/加速度、力矩、功率、到目标距离等。这个设置对验证 human motion IOC 是 relevant 的，也比纯 toy problem 更有说服力。
但 evaluation 覆盖面较窄：只有一个应用族、低维 planar arm、少量轨迹、固定 cost basis。它验证的是“在这个结构良好的 constrained OCP 上，RIOC 比 derivative-free bilevel 更快且精度相当”，没有验证“可扩展到 realistic high-dimensional robotics systems”的强 claim。没有跨机器人形态、多任务、多接触、强 inequality active-set 切换场景，也没有系统测试 rank/transversality 条件失败时的行为。
对核心 claim 的支持程度：对“PIOC 的 determinant constraint 不适合 gradient solver”主要是理论分析支持；对“Riemannian formulation 更可靠”实验只给了与 bilevel 的对比，没有直接展示 PIOC gradient solver 的失败曲线或 ablation。对“4x speedup”的归因不充分，因为 baseline 是经典 bilevel derivative-free 搜索，天然较慢；如果和 gradient-based bilevel using implicit differentiation 比，优势可能会缩小。
实验中 P5 两种方法都明显偏离，作者归因于 cost basis limitation，这个判断合理：当示范不在 model/cost family 的可解释集合附近时，再好的投影方法也只能找到最近点。这个例子反而说明 RIOC 的性能上限受 cost feature expressivity 控制。
Limitation
最大限制是 regularity 假设很强。文中要求 smooth cost/constraints、DOC LICQ、J 的 rank 条件、determinantal variety 避开更低 rank singularity、SC 与 G 横截相交、N^T M N 可逆。这些在真实 nonlinear OCP 中经常被局部违反，尤其在人形/接触/饱和控制/冗余 cost basis 中。方法一旦遇到 rank drop 或多解分支，局部 chart 可能不存在或不唯一。
第二，方法没有真正消除求解难度，而是转移了难度：从反复求 DOC 转为求解 KKT sensitivity linear system，并要求 Hessian / Jacobian 信息可靠。对于高维 trajectory optimization，N^T M N 的构造和求解可能成为瓶颈；如果矩阵病态，Riemannian gradient 可能比 bilevel 更脆弱。
第三，对 inequality 的 barrier 处理是近似而非真实 active-set geometry。barrier 让 manifold 平滑，但也改变了最优性条件；μ_target 的选择会影响 sensitivity。文中未充分说明 barrier approximation 对 recovered weights 的偏差，尤其在约束频繁激活/解除时。
第四，identifiability 没有被真正解决。归一化只消除 scale ambiguity，不消除 cost feature redundancy。若多个 cost basis 在示范附近产生近似相同轨迹，RIOC 仍可能恢复不稳定权重。论文结论中提到可用 M 的 conditioning 分析冗余，但这还只是未来方向。
第五，泛化 claim 应谨慎。该方法的“泛化”不是学习模型意义上的 out-of-distribution 泛化，而是数值优化在某类 OCP 上更高效。它不提供新的 cost representation，也不解决 demonstrations 多模态、suboptimality、noise model 或 partial observability。若观测轨迹离 optimality manifold 很远，projection 的解释性可能下降。
Takeaway
- 1. IOC 中很多数值问题不是 solver 不够强，而是 optimality set 的几何表示错了；把 singular set 当普通 equality constraint 会系统性破坏一阶优化。
- 2. Projection-based IOC 的正确落点可能不是 PIOC 的 determinant constraint，而是 KKT solution manifold + sensitivity-based tangent optimization。
- 这条路线比 residual fitting 更贴近 imitation 目标。
- 3. 可迁移 insight：在 inverse optimization / inverse planning 中，如果 feasible explanations 由 forward optimizer 的 KKT 条件定义，优先考虑解流形的局部 chart 和 implicit sensitivity，而不是直接最小化 KKT residual 或奇异约束。
一句话总结
这篇论文把 projection-based IOC 从退化的 determinant 约束优化推进到 KKT 解流形上的 sensitivity-guided 投影，本质贡献是修正了 PIOC 的几何表示并让一阶优化有了可用的切向结构。