IEEE Transactions on Robotics

Simultaneous System Identification and Model Predictive Control With No Dynamic Regret

作者：Hongyu Zhou, Vasileios Tzoumas · 机构：Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：4322-4341

运动规划控制优化飞行机器人

精读笔记

Problem Setting

论文标题：Simultaneous System Identification and Model Predictive Control With No Dynamic Regret（IEEE Transactions on Robotics / 2025）。

这篇论文真正解决的是闭环在线系统辨识与 MPC 的耦合问题：系统 nominal dynamics 已知，但存在未知 h(z_t)，其中 z_t 是状态和控制的特征，h 可以表示未建模动力学、气动阻力、地效、风扰或参数误差。控制器每一步只能看到当前状态，执行控制后才能从 residual 中恢复 h(z_t)，但下一步控制又依赖当前学到的 h_hat。

困难点在于闭环性：数据不是 i.i.d.，也不是外部给定，而是由控制器自己访问的状态-控制轨迹产生。错误模型会导致错误控制，错误控制又改变未来数据分布。这比传统 supervised system identification 更难，也比普通 MPC with learned model 更难，因为学习和控制不是分阶段的。

更关键的是本文采用的 dynamic regret comparator 很强：最优控制器知道真实 h，并且在自己的轨迹上经历 h(z_t^*)。这区别于很多 nonstochastic control 文献里“算法和 comparator 面对同一 disturbance sequence”的设定。这里扰动是函数，因此不同策略会诱导不同扰动序列。关键矛盾是：要在没有离线数据和没有 persistent excitation 的情况下，既保证实时控制，又证明相对 clairvoyant policy 的平均性能差收敛到 0。

Motivation

作者针对的是几条已有路线的共同缺口。

robust MPC/robust control 可以处理未知扰动，但通常基于扰动上界和 worst-case rollout，保守性是结构性的；它不会利用“真实扰动有可学习规律”这一信息。adaptive control/L1 这类方法能在线估计并补偿扰动，但多数是局部、即时的 compensation，不把扰动模型作为未来 horizon 的预测对象，因此在扰动随状态/控制变化且会在轨迹上提前出现时，规划能力有限。GP-MPC 和 neural learned dynamics 可以提供预测模型，但常依赖离线数据、在线计算重，或者只能在 MPC 的第一步使用预测，难以在整个 horizon 中滚动。

作者的核心观察是：机器人中的很多未知效应并不是 arbitrary sequence，而是相对稳定的函数，例如速度相关阻力、地面高度相关地效、控制输入相关推力偏差、状态相关风场。若把未知项建成 h(z)，而不是 w_t，那么过去采样到的 residual 可以在未来相似 z 区域复用。缺口在于需要一个既足够表达、又能快速在线更新、还能嵌进实时 MPC 的模型类。RFF/RKHS 正好提供了这个折中。

Core Idea

论文最核心的思想不是“用 RFF 学扰动”本身，而是把在线辨识的目标从控制律/补偿量转为可滚动预测的动力学函数。也就是说，学习模块不是直接输出一个 additive control correction，而是学习 h_hat(z)，再让 MPC 在整个 look-ahead horizon 中基于 f+gu+h_hat 规划。信息流因此发生变化：历史 residual 不再只影响下一步补偿，而是形成一个可在未来状态-控制候选上查询的模型。

这个建模方式引入了一个明确 inductive bias：未知扰动在 z-space 中有函数连续性和 RKHS 结构。只要未来 MPC 轨迹访问的 z 与历史数据在该函数类下可泛化，one-step residual 学习就能改善 multi-step planning。相比 nonstochastic control 中把扰动看作 adversarial sequence，本文等于把 adversary 的自由度从 T 个独立扰动压缩到一个函数 h；这就是 regret 能成立、实验能提升的根本原因。

本质区别在于 comparator 也沿自己的轨迹查询 h(z_t^*)，所以这不是“预测同一条扰动序列”，而是“学习一个策略条件下可查询的环境函数”。这使问题更接近真实机器人，但也把成功前提集中到函数类假设与闭环数据覆盖上。

Method

1. residual-based self-supervision：每次执行 u_t 后，通过 h(z_t)=x_{t+1}-f(x_t)-g(x_t)u_t 得到监督信号。这解决了无标签在线辨识问题。它的必要性在于把控制执行本身转化为数据采集，不需要额外实验或离线 dataset。

2. finite-dimensional RKHS approximation：假设 h 属于已知 kernel 的 RKHS，并用随机傅里叶特征近似为 h_hat(z)=1/M sum_i Phi(z,theta_i) alpha_i。这样做解决的是“非参数表达力”和“实时 MPC 可计算性”的冲突。若直接用 GP 或高容量网络，MPC 中多步 rollout 的优化会过重；若用低维固定 basis，又可能表达不足。RFF 是一个折中：非线性特征固定，在线只学线性参数。

3. OGD least-squares update：在线最小化 ||h(z_t)-h_hat(z_t)||^2，并将参数投影到紧集。它的作用不只是工程更新，而是给理论提供 O(sqrt T) 的 estimation regret。注意这里没有主动探索，学习依赖控制任务自然产生的数据。

4. learned-dynamics MPC：每一步用当前 h_hat 解 MPC，得到控制输入。核心变化是 h_hat 被用于整个 prediction horizon，而非只用于当前步补偿。这是它相对 L1/adaptive compensation 和一些 GP-MPC 实现的主要优势。

5. regret proof glue：证明不是从最优控制直接比较，而是先用 MPC value function 上界累计成本，再利用 value contraction 把未来代价递推成一串估计误差项，最后用 OGD 的累计误差界控制这些项。最终得到 O(T^{3/4}) dynamic regret。

Key Insight / Why It Works

最重要的 insight 是：如果未知扰动是一个可学习函数，而不是逐时刻独立扰动，那么在线控制中的历史 residual 具有跨时间复用价值；MPC 正是把这种复用价值放大到未来 horizon 的机制。方法有效不是因为 RFF 神奇，而是因为它把“过去看到的局部误差”变成“未来候选轨迹上的动力学预测”。

理论上，成立链条很清楚：Assumption 1 给 MPC 一个 Lyapunov-like value contraction；Assumption 2 给 value function 对状态和参数扰动的 Lipschitz 传递；OGD 给 h_hat 的累计 one-step error bound。于是控制 regret 被分解为稳定系统对模型误差的输入-输出增益。O(T^{3/4}) 来自 Cauchy-Schwarz：sum sqrt(l_t) <= sqrt(T sum l_t)，而 sum l_t = O(sqrt T)。这说明核心瓶颈不是 MPC，而是把 square loss regret 转成 cost regret 时损失了一个平方根。

最可能的实质贡献是 regret comparator 的设定和证明拼接：comparator 在自己的轨迹上经历 h(z_t^*)，比 common disturbance sequence 的动态 regret 更贴近 state-dependent disturbance。RFF+OGD 是成熟工具重组；MPC with learned residual 也不是新概念。论文真正把这些工具组合成一个可证明的 SSI-MPC 框架，并在真实飞行中展示可用性。

实验增益最可能来自两点：一是 online adaptation 避免 GP/offline model 的分布偏差；二是 learned h_hat 被放进整个 horizon，而不是只做一步补偿。RFF 的表达力是必要辅助，但是否是主要增益来源不清。文中的 ablation 主要看 M 和 eta，没有充分分解“RFF vs GP vs horizon usage vs solver/architecture”的贡献。

这不是 scaling 论文，也不是 data-heavy 论文；更像是 better inductive bias + test-time adaptation + MPC test-time compute 的组合。它依赖在线闭环数据覆盖，而非大规模离线数据。所谓泛化主要是同一任务执行过程中对相似状态-控制区域的函数插值/外推，不应过度解读为跨环境泛化能力。

Relation To Prior Work

它最接近四条谱系的交叉：adaptive control、online nonstochastic control、learning-based MPC、RKHS/RFF system identification。

相对 adaptive/L1 control，本文不是估计当前扰动后直接补偿，而是学习可预测的 h(z) 并交给 MPC 优化。差别在于是否把未知项作为未来规划模型的一部分。这个差别在状态依赖扰动和轨迹跟踪中很关键。

相对 robust MPC，本文把不确定性从 worst-case set 换成 learned function。代价是需要函数类假设和在线数据覆盖；收益是减少保守性，并可能在真实扰动规律上接近 clairvoyant controller。

相对 GP-MPC/offline learned dynamics，本文的实质差异是在线 self-supervised、有限维线性参数更新、可在 horizon 内轻量使用。RFF 可以看作把 GP/RKHS 的表达力压缩到 MPC-friendly 的固定特征模型。这里的新意不是随机特征，而是将其作为在线辨识与 regret proof 的接口。

相对 nonstochastic control/OCO，本文不直接在线优化控制策略，也不只基于 past disturbances 反应，而是学习一个可向未来查询的 disturbance model。它把 adversarial disturbance sequence 的问题改成函数学习问题，因此理论假设更强，但控制器更适合 MPC 类机器人系统。

看似新的部分中，RFF、OGD、residual learning、MPC 都是已有思想；实质创新在于：1) 对 state/control-adaptive h 的 dynamic regret 定义；2) 将 online estimation regret 和 MPC value contraction 合成 no-dynamic-regret；3) 给出一个实际可在硬件四旋翼上跑的轻量 learned-MPC 实现。

Dataset / Evaluation

评估覆盖面相对扎实：cart-pole 用来验证参数不准下的在线动力学修正；仿真四旋翼验证高速轨迹跟踪中的气动扰动；硬件四旋翼验证真实地效、风扰、组合扰动和电压下降等混合未知因素。这比只在仿真或离线 benchmark 上验证的 learning-based control 工作更有说服力。

但 evaluation 支持的是“在这些中低维连续控制任务上，在线 learned residual MPC 可提升 tracking”，并不能完全验证理论 claim 的全部条件。实际实验使用 quadratic cost，但 Assumption 1 在非线性系统上不易验证；RFF 近似误差是否满足 Assumption 5 也没有直接检查。硬件实验显示同一组参数可处理不同扰动，这是强证据，但这些扰动都发生在同一平台、相近轨迹和相对低维特征空间中。

benchmark 对比有一定局限。GP-MPC 的劣势部分来自计算限制和离线训练分布不匹配；这确实是现实限制，但不完全是模型能力差。L1-MPC 的劣势符合预期，因为它更偏即时补偿而非 horizon prediction。NS-MPC 在 adaptive state-dependent disturbance 下表现弱也不意外。总体上，实验支持核心机制，但增益归因不够干净。

Limitation

最大限制是理论前提强于表面表述。Assumption 5 近似于直接假设有限 M 的 RFF 能精确表达 h；这把 approximation bias 从主定理里移走了。真实系统中如果 h 不在该特征 span 内，regret bound 会怎样退化，文中没有充分说明。

第二，MPC stability/value assumptions 是核心支柱。Assumption 1 对线性系统较自然，但对非线性带输入惩罚的 MPC 并不容易验证。论文承认 R != 0 时非平凡。也就是说，no-regret guarantee 不是给任意 nonlinear MPC 的，而是给一个已经具有足够稳定性和 value contraction 的 MPC 骨架。

第三，scalability 受 M 和 z 维度强约束。RFF 越多表达越好，但每个特征都会进入 MPC rollout，直接增加非线性优化负担。cart-pole sensitivity 已经显示 M 增大后实时性迅速变差。高维机器人、接触动力学、复杂气流场下，这个 bottleneck 会更明显。

第四，没有主动探索。算法依赖任务轨迹自然提供 informative data。如果 closed-loop trajectory 没有覆盖未来需要预测的 z 区域，h_hat 只是局部插值，MPC 可能产生错误外推。所谓 online generalization 很大程度依赖数据覆盖；不是从理论上解决 exploration-control tradeoff。

第五，扰动被建模为 memoryless h(z_t)。对有滞后、历史依赖、未观测风场状态、传感器延迟或 actuator dynamics 的系统，这个假设可能不足。硬件中的多源扰动能被部分吸收，并不代表模型捕捉了真实因果结构；可能只是用当前 z 对闭环误差做有效拟合。

第六，process noise 扩展给出的附加项 L sqrt(T sum ||w_t||^2) 只有在噪声能量足够小才保持 sublinear。若存在持续随机噪声且能量 O(T)，该项是 O(T)，不再 no-regret。文中对这一点的实际影响讨论不多。

Takeaway

  • 1. 值得迁移的核心思想是：把在线 residual learning 放到 planner 内部，而不是外部补偿。
  • 只要未知项具有可复用函数结构，planner-level model learning 比 controller-level correction 更有长期价值。
  • 2. RFF/RKHS 的意义在于提供一个“可证明、可更新、可嵌入 MPC”的中间表达。
  • 未来更有价值的方向不是简单换更大网络，而是找到同样 MPC-friendly、但表达更强且带不确定性/安全约束的模型类。

一句话总结

这篇论文是 learning-based MPC 与 online control regret 的一次有价值结合：它用 RFF/OGD 将未知状态-控制依赖扰动转成可在线学习、可在 MPC horizon 内查询的函数模型，并在强稳定性与函数类假设下给出相对 clairvoyant controller 的 no-dynamic-regret 保证。