精读笔记

Problem Setting

《Koopman Operators in Robot Learning》（IEEE Transactions on Robotics / 2026）处理的是 Koopman operator 在机器人学习中的“理论—算法—部署”断层。它不是提出一个新算法，而是在回答：当机器人必须在真实、未知、不可完全仿真的环境中在线学习动力学时，Koopman 线性表示到底能提供什么，以及它在哪些地方只是工程近似。

真正困难点有三层。第一，经典 Koopman 理论的对象是无限维线性算子，但机器人只能用有限维、有限数据、带噪声的近似。第二，机器人系统通常是受控系统，而输入不是状态演化的一部分，简单把 input 拼进 state 会破坏理论干净性。第三，下游任务不是单步预测，而是闭环控制、估计、规划和安全约束；一个 short-horizon predictor 能否支撑稳定控制并不自动成立。

以前方法卡住的地方也很明确：深度动力学/RL 往往依赖大规模离线数据或仿真，物理建模在软体、接触、气动、颗粒介质、人机交互等场景中不现实，局部线性化又难以覆盖大范围状态。Koopman 的关键矛盾是：它想用线性系统工具处理非线性机器人，但代价是必须找到一个足够好的 observable space；如果这个空间选得不好，线性结构只是表面形式。

Motivation

作者的动机不是“Koopman 可以全局线性化非线性系统”这个老叙事，而是 runtime learning 的现实压力：真实机器人部署中常常没有可靠仿真器、没有充足离线数据，也没有稳定分布。机器人需要在执行过程中用小数据快速更新模型，同时模型还要能被控制器即时使用。

已有路线的不足在于，深度模型虽然表达力强，但训练慢、数据需求大、闭环可认证性弱；传统模型控制虽然结构清楚，但在未知接触、软体变形、气动扰动和人类行为中建模成本过高。Koopman 的吸引力来自一个中间位置：比黑箱深度模型更结构化，比解析模型更数据驱动，比一般非线性模型更容易接入 linear control / convex optimization。

关键缺口是：领域内大量应用把 Koopman 当成 engineering trick 使用，但对输入处理、dictionary 设计、数据采样、误差传播、稳定性和约束 lifting 的理解并不统一。本文试图把这些零散实践放回同一个机制框架里。

Core Idea

核心思想是用 observable space 重写机器人动力学的信息流：不再直接学习 $x_{t+1}=T(x_t,u_t)$ 的非线性映射，而是寻找 $z_t=\Psi(x_t)$，使得 $z_{t+1}\approx Kz_t+Bu_t$ 或更一般的 $z_{t+1}\approx A(u_t)z_t$。这样，非线性复杂性被前置到 lifting function 中，时间演化被压成线性或双线性算子。

这改变了建模方式：传统学习模型把复杂度放在 transition function；Koopman 方法把复杂度放在 representation，并要求 representation 中的 dynamics 尽可能简单。这个 inductive bias 对机器人有实际价值，因为控制和估计通常更关心可优化、可更新、可分析的动力学结构，而不是纯预测精度。

和 prior 的本质区别不在于“升维”本身，而在于它把非线性系统建模问题转化为寻找近似 invariant function subspace 的问题。一旦这个子空间足够好，线性系统工具可以被复用；如果子空间不好，所有下游控制优势都会坍塌。因此 Koopman 方法的核心不是 EDMD 公式，而是 invariant subspace approximation。

Method

1. 有限维 Koopman 近似：EDMD 将 lifted snapshots 的一步演化写成 least-squares 问题，本质是在经验分布上估计 Koopman operator 在 dictionary span 上的投影。它解决的是无限维算子不可计算的问题，但它得到的是 projected operator，不是真 Koopman operator。这个 distinction 很重要：EDMD 的好坏取决于子空间是否近似 invariant，而不是 dictionary 越大越好。

2. 时间延迟 / HVOK：HVOK 用 Hankel delay embedding 代替显式 basis 设计，适合部分可观测、软体或有丰富时序结构的系统。它解决的是单帧状态不足以表达系统内部状态的问题。核心变化是把 memory 引入 representation，使线性模型能利用历史轨迹几何；这更像 latent state reconstruction，而不只是 Koopman approximation。

3. 输入系统处理：文章区分了工程近似和理论扩展。工程上常见 $z^+=Kz+Bu$，便于 MPC/LQR；理论上更严谨的是无限输入序列框架或 Koopman control family。前者难以有限维实现，后者导向 input-state separable model $\Phi(x^+)=A(u)\Phi(x)$。这一点很关键：对受控机器人，线性 Koopman 模型往往是近似假设，不是 Koopman 理论自动保证的结论。

4. Lifting function 构造：手工 basis、物理启发 basis、NN/autoencoder basis、delay embedding 都是在解决同一个问题：如何让 dictionary span 接近 Koopman-invariant。文中最有理论含量的是对 residual loss 的批判，以及 forward-backward consistency / SSD / T-SSD 这类 subspace-quality 方法。它们强调应评价子空间本身，而不是某个 basis 下的训练残差。

5. 下游控制与估计：Koopman MPC 的收益来自 lifted dynamics 的线性结构，使非线性机器人控制转化为 QP 或结构化优化；observer/Kalman/SLAM/planning 的收益类似，都是把非线性传播放进可线性处理的空间。这里真正需要注意的是：convexity 只在 dynamics、cost、constraints 都适配 lifted linear form 时成立。

Key Insight / Why It Works

这篇文章最值得记住的 insight 是：Koopman 方法有效时，通常不是因为“任意非线性系统都能被无限维线性化”这个理论口号，而是因为某些机器人任务存在低维、可学习、控制相关的 latent/observable structure，使得短期闭环预测在该空间中接近线性。

真正的核心贡献在于把 Koopman 方法的成功归因从“线性化魔法”拉回到三个条件：数据覆盖足够当前 operational envelope；lifting 捕获了控制相关状态而非无关特征；下游任务只需要有限 horizon 内的可用预测而非全局精确模型。很多机器人应用中 Koopman 的有效性更像 representation alignment + structured regression，而不是严格意义上的 Koopman spectral theory。

最可能是核心的部分：对 dictionary / subspace quality 的讨论。文章明确指出 EDMD residual 小并不等价于 invariant subspace 好，dictionary 更大也不必然更好。这一点比一般综述更有价值，因为它直接击中 Koopman robotics 的工程误用：很多工作只是堆更多 observables 或深度 encoder，然后用短期预测证明有效，但没有证明子空间质量。

可能只是辅助或 engineering 的部分：不同机器人平台上的应用罗列、各种 MPC/LQR/observer 接口、很多 deep Koopman 变体。它们证明 Koopman 表示可插拔，但不一定证明理论优势。尤其 NN-based lifting 的增益来源不清，可能主要来自更强表达力和数据覆盖，而不是 Koopman 结构。

是否本质上是 scaling？部分是。更大的 dictionary、更深的 encoder、更多 delay、更丰富数据通常会提升表现，但这可能只是 function approximation scaling。Koopman 的非平凡价值在于：即便在有限数据下，如果 representation 选得对，线性 regression 和线性控制可带来明显 sample/computation efficiency。

是否本质上是 memory reuse？HVOK 和 delay embedding 明显是。它通过历史窗口重构未观测状态，对软体和部分可观测系统尤其重要。这类成功不应简单归因于 Koopman operator，而应理解为 delay-coordinate latent state + linear predictor 的组合。

是否本质上是 better inductive bias？是，这是最合理的归因。Koopman 方法把动态预测限制在线性传播结构中，降低了在线估计和控制求解难度；但这个 bias 只有在系统确实存在近似线性 observable dynamics 时才有效。

Relation To Prior Work

这篇文章属于 operator-theoretic system identification、data-driven control、model-based robot learning 的交叉谱系。最接近的路线包括 DMD/EDMD、Deep Koopman、SINDy、latent linear dynamics、local linear models、GP dynamics、neural ODE、model-based RL 和 adaptive MPC。

和 DMD/EDMD 的关系：DMD 是无 lifting 的特例，EDMD 是最常见的有限维投影。本文没有重新发明 EDMD，而是强调 EDMD 只是在经验测度下逼近 projected Koopman operator，且 dictionary design 是根本问题。

和 deep latent dynamics 的关系：Deep Koopman / autoencoder-Koopman 看起来像把 Koopman 理论和 representation learning 结合，但本质上很接近“学习一个 latent space，使 dynamics 线性”。区别在于 Koopman 给了 invariant subspace、eigenfunction、operator projection 等理论语言；但若没有 subspace quality 约束，它和普通 latent linear model 的差异会变弱。

和 classical control 的关系：Koopman 的价值在于让 LQR/MPC/Kalman/filtering 等成熟工具重新用于非线性机器人。这里的新增信息不是控制器本身，而是通过 lifted linear dynamics 改变控制问题的可解性。

和物理建模的关系：Koopman 不是替代所有物理模型，更合理的位置是 physics-informed data-driven model。物理启发 observables、symmetry、constraints、derivatives 等往往比纯 NN lifting 更稳。文章隐含的判断是：真正可部署的 Koopman robotics 大概率不是纯黑箱 Koopman，而是物理结构 + 数据驱动 lifting + 鲁棒控制的混合体。

实质创新主要在于综述整合和理论澄清，而不是新算法。尤其对 controlled Koopman、consistency index、SSD/T-SSD、约束与稳定性的讨论，比单纯应用列表更有研究价值。

Dataset / Evaluation

作为综述，这篇文章没有统一 benchmark，也没有一个中心实验来验证全部 claim。它的 evidence 来自跨平台文献覆盖：机械臂、轮式/腿式、软体、飞行器、水下、自动驾驶、康复、multiagent 等。覆盖范围很广，说明 Koopman 方法已经从理论和流体领域进入了真实机器人控制与估计问题。

但 evaluation 支持的 claim 需要谨慎解读。它能支持“Koopman 是一个广泛可用的建模/控制范式”，不能强支持“Koopman 在多数机器人任务上系统性优于深度模型或物理模型”。不同论文的数据、任务、horizon、控制器、lifting、噪声设定差异太大，增益归因基本不可比较。

真实世界验证方面，软体、飞行器、地面平台和部分 manipulation 有真机案例，这是 Koopman robotics 相比纯仿真 model-based RL 的优势之一。但很多 legged/hybrid/dexterous 场景仍偏早期，部分结果主要在仿真或受限任务中。文中未充分说明不同方法在 distribution shift、long-horizon closed-loop stability 和 safety-critical constraints 下的统一评估。

整体看，benchmark 更像 adoption evidence，而不是 causal evidence。它展示了 Koopman 方法能被嵌入很多系统，但没有完全回答“什么时候 Koopman 是必要的，什么时候只是一个方便的线性 regression wrapper”。

Limitation

1. 核心前提很强：需要存在可学习且维度可控的 observable subspace，使得 dynamics 在其中近似线性。对接触丰富、强混合、强耗散、高维连续体系统，这个前提经常不明显。

2. 方法把问题转移了：从学习非线性 dynamics 转移到选择 lifting functions。若 lifting 靠手工，泛化依赖专家经验；若靠 NN，数据效率和可解释性优势会被削弱；若靠 delay embedding，维度和采样率会成为新瓶颈。

3. 有输入系统的理论和实践仍不完全对齐。$z^+=Kz+Bu$ 很适合控制，但通常只是方便近似。对于任意输入序列，严格 Koopman 表示更复杂；有限维线性 predictor 并不保证随着维度增加就收敛到真实受控系统。

4. 线性模型不自动带来安全控制。原空间 constraints lift 到 Koopman space 后可能变复杂、非凸或难以保持等价；反过来在 lifted space 中满足约束也不保证原状态安全。文中指出了问题，但没有解决。

5. 泛化可能主要来自数据覆盖。很多机器人实验若只在有限 operational envelope 内测试，Koopman 模型的“全局线性化”说法容易被高估。实际能力可能是局部/区域性 latent linear approximation。

6. 深度 Koopman 的增益来源不清。它可能只是更强 encoder + supervised prediction loss，而 Koopman 结构只是 regularizer。若没有和普通 autoencoder latent dynamics、neural state-space model 做干净对比，很难证明 Koopman inductive bias 是主因。

7. 长期预测和闭环稳定之间仍有鸿沟。短期 one-step residual 小不代表 long-horizon rollout 稳定，更不代表 MPC recursive feasibility。文章对 consistency index 的讨论正是回应这一点，但实际应用中仍大量依赖经验验证。

8. lifted space uncertainty 未被充分理解。原状态噪声为 Gaussian 不意味着 observables 后仍 Gaussian；active learning 和 robust MPC 中常用的高斯假设可能只是方便建模。

Takeaway

• 1. Koopman robotics 的核心不是“把系统升维线性化”，而是“寻找控制相关的近似 invariant observable subspace”。
• 未来真正有价值的工作会围绕 subspace verification、adaptive dictionary refinement 和 uncertainty-aware lifting 展开。
• 2. 最可迁移的 insight 是 representation-first dynamics learning：先设计/学习一个让时间演化简单的空间，再用成熟控制工具解决下游问题。
• 这一思想可迁移到 contact-rich manipulation、soft-body control、terrain interaction 和 multiagent coordination。

一句话总结

这篇综述把 Koopman operator 在机器人学习中的位置从“理论上的全局线性化工具”重新定位为一种面向在线建模与控制的结构化表示学习范式，其真正贡献是澄清了 observable subspace、输入建模和闭环可用性才是 Koopman robotics 的核心瓶颈。