精读笔记

Problem Setting

《Learning Predictive Control with Deep Koopman Operators for Autonomous Vehicle Motion Planning》（arXiv preprint / 2026）。这篇论文针对的是自动驾驶局部 motion planning 中一个很现实的瓶颈：车辆动力学足够复杂、道路/障碍约束非凸且时变，但车端控制周期又要求近实时。传统 MPC 的困难不在于 formulation，而在于在线求解非线性非凸问题时计算不可控、solver 可能失败；而 RL/ADP 的问题则相反，在线策略生成更轻，但安全约束和车辆动力学结构通常没有被充分利用。

论文真正处理的是“把规划问题改写成更容易在线迭代的控制学习问题”。它不是做端到端 driving，也不是纯轨迹生成，而是在局部参考轨迹和障碍感知已给定的情况下，学习一个能在预测窗口内快速更新的反馈控制策略。关键矛盾是：想要 MPC 的结构化预测和安全意识，又不想承担 MPC 的在线非凸优化成本；想要 RL 的反馈策略和在线适应，但不能接受无结构 trial-and-error 和安全不可控。

Motivation

作者的出发点很明确：现有三条路线各缺一块。MPC 缺可扩展的实时求解；Koopman-MPC 虽然缓解模型非线性，但往往仍然求开环序列；safe RL 虽然能学策略，但安全约束常作为 reward 或外部 filter，和策略学习本身耦合不深。

这篇的核心观察是：如果能把车辆动力学 lift 到一个近似线性的 observable space，那么有限时域的 costate 递推和策略更新会非常便宜；如果把障碍/边界势场的梯度显式放进 actor 和 critic，那么安全信息可以直接改变 value gradient 和 policy output，而不是等到最后再由 safety filter 修正。这相当于把“动力学复杂性”前移到离线表示学习，把“约束复杂性”前移到可微势场设计，把“在线求解”降级为多步 rollout + actor-critic 更新。

Core Idea

核心思想不是简单叠加 Koopman、MPC 和 RL，而是重新组织控制问题的信息流：车辆非线性通过 deep Koopman encoder 进入 lifted linear dynamics；规划目标和安全约束通过 cost/value gradient 进入有限时域 actor-critic；在线执行采用 receding horizon，只施加第一步控制。这样，在线阶段不再求解一个带非凸约束的 NLP，而是在一个固定线性预测模型上做便宜的 feedback policy refinement。

这个设计引入的 inductive bias 很强：一是 Koopman linearity bias，使得未来状态传播和 costate backward propagation 类似线性系统控制；二是 potential-gradient safety bias，使策略天然受到障碍排斥力影响；三是 receding-horizon bias，使模型误差可通过下一时刻重新观测修正。和 prior 的本质区别在于，它不是先规划轨迹再跟踪，也不是 RL 后加 CBF filter，而是把安全势场梯度变成 actor/critic 表示的一部分，让安全约束参与策略学习本身。

Method

1. Deep Koopman predictor：解决 unknown nonlinear vehicle dynamics 的可预测性和在线计算问题。作者不使用 bicycle model 的显式参数，而用 MLP encoder/decoder 学习 observable space，使 lifted state 近似满足 linear dynamics。必要性在于后续 costate 递推需要一个便宜且可微的动态传播结构；核心变化是在线预测从非线性模型 rollout 变成矩阵乘法。

2. 有限时域 actor-critic / costate iteration：解决传统 MPC 在线优化慢的问题。它基于 Bellman/HJB 写出 finite-horizon value recursion，并用 costate λ=∂V/∂φ_e 推导控制更新。这里真正重要的是 policy 是 state-feedback 形式，而不是 MPC 常见的 open-loop sequence。它把“每个周期求最优序列”替换为“在预测区间内迭代更新 value gradient 和 feedback policy”。

3. 势场化安全约束：解决非凸障碍无法直接进入 RL policy learning 的问题。道路边界用 log barrier-like potential，障碍用增强 CFS 得到局部凸多边形，再构造 inverse-square potential。关键不是势场本身，而是其梯度 β_b、β_o 被直接加入 critic costate 和 actor output，相当于在 value gradient 和 action 层面同时注入 repulsive prior。

4. Receding-horizon execution：解决 learned predictor 不完美的问题。每次只执行第一步，下一周期用真实状态重规划。这是方法能在模型误差下工作的关键工程闭环，但不是严格鲁棒性证明。

Key Insight / Why It Works

最可能真正有效的部分是“linear lifted dynamics + costate-based feedback update”的组合。Koopman 表示把非线性车辆预测变成固定矩阵传播，使得 horizon 内 rollout 和 backward gradient propagation 都便宜；actor-critic 不需要从零探索，而是在控制理论给出的 HJB/costate 结构上做近似，因此比一般 RL 更 sample-efficient、更稳定。

第二个关键是安全梯度的注入方式。很多 safe RL 把安全放在 reward 或外部 filter，容易出现策略和修正器打架；这里把势场梯度直接作为 critic/actor 的显式项，等于把障碍几何变成 policy basis。这不是严格安全保证，但在局部避障任务中非常有效，因为避障本质上需要一个局部 repulsive direction，而势场梯度正好提供这个方向。

但要冷静看，论文的性能增益很可能有相当部分来自 engineering choices：增强 CFS 的障碍膨胀、势场参数、margin、benchmark solver 设置、以及 Koopman 训练数据覆盖。尤其安全指标提升可能不完全来自 actor-critic，而可能来自更保守的障碍表示和提前绕行偏置。实时性提升也并不意外：把 NLP/QP solver 换成神经网络前向 + 矩阵运算，本来就会快；关键问题是这是否在同等安全保证下成立，文中未充分说明。

这篇不是 scaling paper，也不是纯 data scaling。它更像是 representation alignment + test-time compute reduction：用 Koopman 让 learned representation 对齐控制结构，用有限时域 actor-critic 把在线求解变成便宜的迭代。泛化能力的核心仍然依赖数据覆盖；所谓对 unknown dynamics 的适应，并不是在线识别完整动力学，而是 receding horizon 反复纠偏。

Relation To Prior Work

最接近的谱系是 Koopman-based control、receding-horizon RL / ADP、potential-field MPC / CFS obstacle avoidance 的交叉。它不是从零发明新控制理论，而是把几条已有路线重新拼成一个适合车端实时部署的框架。

相对 Koopman-MPC：本质差异在于不再主要求解 open-loop MPC optimization，而是在 lifted space 内学习 feedback policy；Koopman 在这里不仅是预测模型，也是 actor-critic costate 递推的线性骨架。

相对 RHRL/ADP：新增的是 deep Koopman dynamics 作为结构化模型，以及安全势场梯度显式注入 actor/critic。后者是更实质的工程创新，因为它改变了安全信息进入策略学习的位置。

相对 CBF-MPC / safety filter RL：这篇没有提供同等级别的硬安全证书。它的安全更像 planning-level soft safety shaping，而不是 invariant-set safety。优势是计算轻、实现顺，代价是理论保证弱。

相对传统 potential-field planners：势场本身不新；新意在于势场梯度不是只用于轨迹 cost，而是进入 value gradient 和 policy approximation。这一点值得迁移。

Dataset / Evaluation

评估覆盖了仿真和真车，这是论文较强的一点。仿真包含直道静态障碍、直道动态障碍、直道超车、弯道超车；真车包含结构化直道双障碍和弯道混合路面场景。对于“实时部署”这个 claim，真车实验是有价值的，尤其 20ms 控制周期下的计算时间确实支持其在线效率优势。

但 evaluation 对核心机制的验证还不够干净。ablation 表明 DK、actor-critic、安全项都不可缺，但没有充分区分：收益究竟来自 Koopman 预测更准、势场更保守，还是 actor-critic 的闭环反馈。与 CBF-MPC/LMPCC 的比较也可能受实现和 solver 调参影响；文中 benchmark 计算时间在某些描述中出现不一致量级，需谨慎解读。

真实世界验证是加分项，但范围仍偏局部：障碍主要是少量车辆/锥桶代理，交互交通、遮挡、不确定预测、多智能体博弈没有覆盖。它支持“代表性避障场景下可部署”，但不足以支持“复杂动态道路环境下泛化安全”。

Limitation

1. 安全保证本质较弱。Appendix 中的 safety argument 依赖 potential 在边界发散和 predicted value bounded，但作者也承认这只保证预测轨迹，不保证真实系统在 Koopman mismatch 下始终安全。实际安全依赖 margin g、障碍膨胀和 receding-horizon 纠偏。

2. 泛化依赖数据覆盖。Deep Koopman predictor 是数据驱动 surrogate，超出训练分布时 lifted linearity 未必成立。混合路面真车实验说明一定鲁棒性，但不足以证明对大摩擦变化、载荷变化、高速极限工况的泛化。

3. 非凸约束被“软化”和“局部凸化”，不是被根本解决。增强 CFS + potential field 对简单局部绕障有效，但在狭窄通道、多障碍拓扑、需要非局部决策的场景中可能有局部极小或错误绕行问题。这里的 planner 没有形成长期语义/交互层面的 planning。

4. 增益归因不清。实时性提升可能主要来自去掉在线 NLP solver；安全提升可能主要来自保守势场和 obstacle inflation；舒适性提升可能来自提前绕行偏置。actor-critic 本身相对一个结构化 iLQR/LQR-in-Koopman baseline 的必要性，文中未充分说明。

5. 在线 actor-critic 更新的稳定性边界不清。学习率、discount、horizon 对结果敏感，敏感性分析已经显示某些设置会碰撞。实际部署中这些参数可能需要大量人工调节。

Takeaway

• 1. 值得记住的不是“Koopman + RL + MPC”这个组合名，而是：把 learned latent dynamics 对齐到控制递推结构，可以显著降低在线规划成本。
• 2. 安全信息进入策略学习的位置很关键。
• 把 obstacle potential gradient 直接嵌入 actor/critic，比把安全作为后处理 filter 更自然，虽然牺牲了硬证书。
• 3. 这类方法未来的关键不在再堆网络，而在建立 Koopman model mismatch 下的 robust/safe receding-horizon guarantee，以及自动调节势场/margin。

一句话总结

这篇论文属于 Koopman-based predictive control 向 learning-based real-time feedback MPC 演化的一步，真正贡献是用 lifted 线性预测和安全势场梯度重组 actor-critic 的在线规划信息流，但其安全与泛化仍主要依赖数据覆盖、保守 margin 和工程调参。