IEEE Transactions on Robotics

Autogeneration of Mission-Oriented Robot Controllers Using Bayesian-Based Koopman Operator

作者：Jie Pan, Dongyue Li, Jian Wang, Pengfei Zhang, Jinyan Shao, Junzhi Yu · 机构：State Key Laboratory for Turbulence and Complex Systems, Department of Advanced Manufacturing and Robotics, College of Engineering, Peking University, Beijing, China; State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China; School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China; Nanchang Innovation Institute, Peking University, Nanchang, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：903-918

控制优化软体机器人水下机器人飞行机器人

精读笔记

Problem Setting

这篇论文面对的是一个很具体但常被 Koopman-control 文献绕开的矛盾：机器人控制需要的是 control-oriented model，而 Koopman/EDMD 通常优化的是数据拟合或预测误差。有限维 Koopman 近似即使在数据集上预测误差小，也可能在 MPC 闭环里产生有害的滚动偏差；某些 lifting functions 对 regression 有益，却会放大控制器在预测时域内的错误决策。

因此，论文真正要解决的不是“如何构造更好的 Koopman operator”，而是“如何自动找到一个对当前任务闭环表现好的 Koopman-MPC 组合”。困难点在于控制误差是系统、字典、MPC 权重、预测时域、反馈补偿、约束松弛共同作用的结果，几乎不可微、评估昂贵、且依赖实际交互。传统模型法卡在手工建模和参数调试；传统 Koopman-control 卡在把模型辨识和控制器设计分开优化。

Motivation

作者的核心观察很重要：Koopman-based robot control 的研究重心有些偏了。大量工作追求 lifting dictionary 的表达能力，默认“更好的预测模型会带来更好的控制器”，但论文用软体机器人例子说明这个假设不可靠。控制任务中的模型误差不是静态误差，而是在 MPC rollout、约束、反馈和系统噪声中被重新放大的误差。

所以缺的不是又一种 dictionary，而是一个任务闭环指标驱动的模型选择准则。更准确地说，本文想补的是 Koopman 模型和 controller objective 之间的 alignment。它的动机不是理论上改进 Koopman 逼近，而是工程上避免“模型看起来更准、控制反而更差”的失配。

Core Idea

论文的核心思想是把 Koopman operator 的构造从 model-identification problem 改写成 controller synthesis problem。候选 lifting functions 先给出一个较大的可选空间，然后由任务损失决定哪些 observable 保留；同时 MPC 的关键权重和反馈补偿参数也被一起搜索。这样得到的不是最小预测误差模型，而是一个闭环任务上表现好的线性 lifted dynamics + controller bundle。

这个思路的 inductive bias 很清楚：控制器不需要全局真实动力学，只需要在任务相关分布上足够有用的局部/有限时域线性预测结构。BOHB 在这里不是附属调参工具，而是把“任务执行反馈”重新注入模型结构选择的通道。和 prior 的本质区别在于，prior 多数先学 Koopman 再设计 controller；本文把 Koopman dictionary 和 controller parameters 放进同一个 mission-level outer loop。

Method

1. EDMD 作为快速可重复的线性化内核。它解决的是每次候选 dictionary 改变后都需要迅速得到 lifted linear dynamics 的问题。这里没有新的 Koopman 估计理论，优势在于闭式/最小二乘求解足够便宜，适合外层大量搜索。

2. lifting function 的二值结构选择。通过矩阵 D 删除或保留候选 observable，本质是在控制任务上做 dictionary pruning。它解决的是“更大字典不一定更好”的问题，使模型复杂度和控制性能由任务反馈决定，而不是由预测误差或人工经验决定。

3. MPC 参数与 Koopman 结构联合优化。论文没有只优化模型，而是把预测时域、权重矩阵、松弛项、desired-state generator 的反馈参数一起纳入搜索。这个设计很关键，因为闭环性能差可能不是单纯模型问题，而是模型误差与控制器权重耦合后的结果。

4. BOHB 作为昂贵任务评估的资源分配机制。每个配置都完整跑任务代价太高，Hyperband/Successive Halving 用低预算任务先淘汰差配置，TPE 用历史结果偏向采样更可能好的区域。它解决的是 compute/sample efficiency，而非控制理论本身。

5. desired-state generator 的反馈补偿。这个模块实际贡献可能很大：它用类似 PID/导航误差补偿的方式修正 MPC 跟踪目标，缓解 Koopman 预测误差和扰动。严格说，这部分已经不只是 Koopman-MPC，而是在 Koopman-MPC 外包了一层经验反馈补偿。

Key Insight / Why It Works

最关键的 insight 是：有限维 Koopman 模型在控制中的价值不取决于“是否最像真实动力学”，而取决于“在 controller rollout 分布上是否产生有利的动作选择”。这和 supervised model learning 到 control 的经典 gap 是同一个问题。本文有效的主要原因是把优化目标从 representation fidelity 改成 task loss，从而减少模型-控制目标错配。

我认为最可能的核心贡献不是 Bayesian optimization 本身，也不是 EDMD，而是 mission-oriented joint selection：让 dictionary pruning 和 controller tuning 共享同一个闭环损失。这个机制能自动排除那些提升拟合但破坏闭环的 lifting functions，也能通过 controller weights/feedback terms 吸收剩余模型误差。

但要直说，性能增益来源并不干净。文中把提升归因于 Bayesian-based Koopman operator，但实际可能有三部分混在一起：1）删掉坏 observable；2）MPC 权重和预测时域被调好了；3）desired-state generator 的反馈补偿承担了大量 disturbance rejection。尤其在真实实验中，所谓对扰动的补偿很可能主要来自外层反馈项和任务级调参，而不是 Koopman operator 本身更鲁棒。

这不是 scaling 意义上的大模型路线，而更像 test-time/outer-loop compute + task-aligned hyperparameter search。它没有形成新的长期状态建模能力，也没有证明 Koopman representation 的可迁移 latent structure；更接近“用任务交互对控制管线做黑箱结构搜索”。

Relation To Prior Work

最接近的谱系有三条：Koopman/EDMD-based control、learning-based MPC model selection、以及 AutoML/HPO for controller tuning。本文的新意不是把这些单点技术发明出来，而是把它们重组到机器人 Koopman-MPC 的闭环任务目标下。

相对于传统 Koopman-control，它的本质差异是 evaluation target 改了：从 prediction/modeling error 转成 mission/control error。相对于 neural Koopman 或 richer dictionary 工作，它没有追求更强表示，而是承认 dictionary 中有些表示会伤害控制，并用任务反馈做筛选。相对于传统 MPC tuning，它多优化了 lifted model structure，而不只是控制器参数。

看似新的“Bayesian-based Koopman operator”更准确地说是 BO-guided Koopman dictionary/controller selection；Koopman operator 本身仍是标准 EDMD。实质创新在问题重构和闭环对齐，不在 Koopman 数学或 BO 算法。

Dataset / Evaluation

评估覆盖面是这篇论文比较强的地方：有解析动力学系统、真实采样的 TDVPT、公开软体机器人数据、AUV 仿真、以及仿企鹅机器人真机路径跟踪。数据来源也比较多样，包括动力学仿真、真实场景采样、公开数据集和构造的交互环境。这支撑了“框架可应用于多类机器人”的 claim。

但 evaluation 对核心 claim 的支撑仍有限。主要对照是 unoptimized Koopman-based MPC，这个 baseline 本身很容易被联合调参击败。缺少更强对照，例如人工调好的 MPC、传统系统辨识 + MPC、robust/tube MPC、RL/IL 控制器、单独优化 MPC 参数但不选字典、只选字典但不调 controller 等。没有这些 ablation，很难判断提升究竟来自 Koopman 结构优化，还是来自普通 controller HPO。

真机实验有价值，尤其 TDVPT 加皮肤和仿企鹅机器人路径实验说明方法有一定扰动容忍性。但很多优化交互并不直接发生在真实机器人上，而是在动力学或 Koopman-based noisy surrogate 中完成。对“无需人工干预的真实部署”这一点，证据还不完全充分。

Limitation

1. 方法把难点从建模转移到了任务级搜索。需要定义任务损失、候选字典、搜索空间、预算、交互环境和安全边界。所谓 autogeneration 并不等于无先验；它只是减少了显式动力学建模和手工调参。

2. 依赖可信交互环境。对于简单软体/腱驱动系统，Koopman surrogate 加噪声可能够用；但作者也承认对 UAV/AUV 这类强非线性系统，弱 surrogate 不足，需要完整动力学环境。真实物理环境和优化环境之间的 sim-to-real gap 仍是上限。

3. scalability 存在组合爆炸。候选 lifting functions 一多，二值选择空间迅速变大；再加上 MPC 权重和反馈参数，BO/TPE 在高维离散-连续混合空间的效率并无保证。Hyperband 只是省预算，不解决搜索空间本质复杂性。

4. 泛化没有被真正证明。当前优化面向固定任务集/轨迹族，可能学到的是任务分布内的 controller configuration，而不是可迁移的 Koopman representation。跨机器人结构参数、跨任务类型、长期运行中的时变软体结构，文中只是展望。

5. 增益归因不清。文中未充分说明 dictionary pruning、MPC tuning、feedback compensation、resource allocation 各自贡献。尤其补偿扰动的能力可能主要来自反馈项和任务优化，而非 Koopman operator 的 Bayesian 优化。

6. 安全在线优化缺失。若要真正用于未知机器人，任务交互中的失败配置可能损坏系统或违反约束。论文目前没有给出安全 BO、safe MPC exploration 或 failure recovery 机制。

Takeaway

  • 1. 对 Koopman-control 来说，下一步不应继续只卷 dictionary expressiveness，而应显式优化 closed-loop objective；prediction accuracy 不是足够好的 proxy。
  • 2. 控制导向模型的学习应和 controller synthesis 联合做，至少要有任务反馈闭环。
  • 模型结构选择如果脱离 controller，很容易得到“可预测但不可控/不好控”的表示。
  • 3. 这篇论文最可迁移的 insight 是 task-aligned representation pruning：在任何 learned dynamics + MPC 管线中，都可以用闭环任务损失筛选状态扩展、latent features 或模型阶数。

一句话总结

这篇论文把 Koopman-MPC 从“先学预测模型再控”推进到“用任务闭环损失联合选择 Koopman 表示和控制器”的 AutoML-style control synthesis，真正贡献在任务对齐的问题重构，而不是新的 Koopman 理论。