IEEE Transactions on Robotics

Beyond Inverted Pendulums: Task-Optimal Simple Models of Legged Locomotion

作者：Yu-Ming Chen, Jianshu Hu, Michael Posa · 机构：General Robotics, Automation, Sensing and Perception (GRASP) Laboratory, University of Pennsylvania, Philadelphia, PA, USA; UM-SJTU Joint Institute, Shanghai Jiao Tong University, Shanghai, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：2582-2601

运动规划控制优化人形机器人仿生机器人

精读笔记

Problem Setting

论文标题：Beyond Inverted Pendulums: Task-Optimal Simple Models of Legged Locomotion（IEEE Transactions on Robotics / 2024）。

这篇论文不是在问“怎样让 ROM 更像 full-order dynamics”，而是在问：给定一个在线规划 pipeline，怎样设计 ROM 才能让 full robot 在被该 ROM 约束时完成任务的代价最低。这个 formulation 很关键，因为在腿式机器人里，ROM 不是单纯的预测器，而是 planner 的可行域定义器。LIP/SLIP 等模型的问题不只是低精度，而是它们把 full robot 的运动空间压到过窄的低维流形上，直接牺牲速度、步长、能耗或接触策略。

真正困难点在于 ROM 同时要满足两个相互冲突的要求：一方面低维到足以实时规划和分析，另一方面又不能过度消灭 full robot 可利用的动力学自由度。传统方法卡在“凭直觉加物理组件”：加弹簧、加角动量、加双支撑、加 rigid body，但没有一个原则性指标说明哪个扩展对某个任务分布最有用。本文试图把 ROM 设计变成 task-optimal model search。

Motivation

作者的核心动机是：ROM 的好坏不应该用 dynamics approximation error 衡量，而应该用它约束下 full robot 的最优任务代价衡量。这个观点对 locomotion 很自然，因为实际部署常见流程就是 ROM planner 生成 reduced trajectory / footstep，然后 whole-body controller 跟踪；如果 ROM 允许的 reduced trajectory 对 full robot 来说昂贵或不自然，即便模型物理解释漂亮，也不是好模型。

关键缺口是缺一个能自动比较和改进 ROM 的优化准则。已有 hand-designed ROM extensions 的成功很大程度依赖经验与工程调参，而且不同任务下哪个假设是瓶颈并不明显。例如允许 CoM 高度变化未必带来明显收益，而某些看似非物理的 dynamics 变化可能更能释放机器人自然动力学。本文的出发点就是把这些判断从人类直觉转移到任务代价驱动的优化上。

Core Idea

核心思想可以概括为：把 ROM 视为一个可参数化的、嵌入 full-order robot 的低维动态约束，然后直接优化这个约束，使其在任务分布上最少损害 full robot 的最优性能。ROM 由 embedding r(q)=y 和 reduced dynamics g(y,ydot,tau) 组成；在评估某个 ROM 时，并不是单独 rollout 这个 ROM，而是在 full-order trajectory optimization 里加入 reduced dynamics consistency constraint。这样得到的 cost 是“full robot 在该 ROM 限制下能做到多好”。

这和 prior 的本质差异是优化目标变了：不是学习一个低维 surrogate 去拟合 full dynamics，而是学习一个对 downstream planning 最有利的低维约束。它引入的 inductive bias 是 task-cost alignment，而不是 physical interpretability alignment。理论上这可能有效，是因为 full robot 控制输入可以在很多情况下精确实现低维 embedding 的加速度；只要 J M^{-1} B 对 reduced coordinates 足够可控，ROM 就可以作为一个可实现的规划流形。模型不必“真实”，只要它定义的轨迹族低代价、可跟踪、可实时规划。

Method

方法的关键机制有三点。

第一，ROM 定义为 embedding r 与 dynamics g 的组合，而不是固定的物理模板。r 决定哪些 full-body configurations 被视为同一个 reduced state，g 决定 reduced trajectory 的演化规律。这个定义把 LIP/SLIP 等经典模型统一进同一框架，也允许非物理 basis 或 polynomial dynamics。它解决的是 ROM search space 的形式化问题。

第二，任务评价通过 full-order trajectory optimization 完成。给定任务 γ 和 ROM 参数 θ，内层优化寻找 full robot state/input/contact force，同时满足 full dynamics、contact constraints、task constraints 和 ROM consistency constraint。这个设计解决的是评价偏差问题：ROM 性能不是由 reduced rollout 自己说了算，而是由 full robot 在该限制下的最优 cost 决定。

第三，外层通过 stochastic gradient descent 优化 θ，梯度由 Envelope Theorem 给出。由于内层目标本身不显式依赖 θ，外层梯度主要来自 active constraints 的 dual variables 与 ROM constraint 对 θ 的导数。这避免了显式 differentiating through 整个 trajectory optimizer，也避免引入庞大的 KKT single-level formulation。这里的核心变化是把 NLP solver 的 dual 信息变成模型设计信号。

部署上作者区分了特殊 ROM 和一般 ROM。真机主要采用固定 CoM embedding、优化 dynamics g 的版本，因为它保留 reduced state 的物理语义，footstep planning 和 OSC tracking 更直接。一般 ROM 需要在 MPC 中混入 full-order pre/post-impact states 才能处理 hybrid impact 和 foot placement，当前还没有真机实时高性能展示。

Key Insight / Why It Works

最重要的 insight 是：ROM 在控制中主要是一个 constraint generator，而不是一个 truth model。经典 ROM 的失败常常不是预测误差大，而是它把可行轨迹空间限制得太保守或方向错误。本文通过优化 ROM constraint，让它更贴近 full robot 的低代价运动子空间。这是比“拟合 full dynamics”更对齐下游目标的 representation alignment。

方法有效的真正原因很可能是 optimized ROM 学到了“允许 Cassie 使用更自然接触/CoM/CoP 策略的低维 dynamics”。从作者分析看，LIP 会把 CoP/CoM 行为约束得更居中和对称，而 optimized dynamics 允许零加速度区域后移、减少 CoM 前后向加速度波动，从而降低 ground reaction force 和关节 torque。换句话说，它不是学到一个更复杂的物理模型，而是放松了 LIP 中错误的对称性和固定倒立摆先验。

Envelope Theorem 是工程上关键但不是主要 locomotion insight。它让 bilevel optimization 可跑，减少了 differentiating-through-NLP 的麻烦；但性能提升来自 task-optimal constraint learning，而不是梯度公式本身。MPC/OSC 也更多是必要部署载体，不是论文最核心贡献。

需要直接指出：这里的“自动发现 ROM”仍高度依赖人为设定的 basis、维度、任务分布、cost 和 regularization。增益可能部分来自更好的 inductive bias，也可能来自 task distribution 内的 offline optimization coverage；不是一种强意义的开放式模型发现。对硬件结果而言，controller heuristics、CoP regularization、double-support blending 等工程处理不可忽略，增益归因并不完全干净。

Relation To Prior Work

最接近的技术谱系有三条：hand-designed locomotion ROM、full/ROM hybrid MPC、model reduction / dynamics approximation。本文和第一类的区别是模型扩展不再由人类物理直觉手工指定，而是在参数化模型族中按任务代价优化；和第二类的区别是它不是在 MPC horizon 中调度 full model 与 ROM，而是直接改变 ROM 本身；和第三类的区别是它不最小化 reduced/full dynamics error，而是最小化 full robot 在 ROM 约束下的 task cost。

看似新的部分中，bilevel optimization、trajectory optimization、dual-based sensitivity 都不是全新思想；实质创新是把它们组织成一个 ROM synthesis criterion，并明确提出“ROM 的质量由嵌入后的 full-order task optimality 定义”。这个定义比具体 polynomial basis 更重要。

它仍属于 model-based locomotion 的延续，而不是 learning-based policy 的路线。相比 RL，它样本效率高、可利用 full model constraints、可解释 cost；相比 classical ROM，它牺牲物理语义换 performance alignment。更准确地说，这是 model-based planning 中的 task-aware representation learning。

Dataset / Evaluation

评估覆盖 Cassie 的 open-loop trajectory optimization、closed-loop simulation 和真机，任务包括不同步长、转弯、坡地以及直线硬件行走。这个覆盖足以支持核心 claim 的弱版本：task-optimized ROM 可以在保持低维的同时，比 LIP 更少限制 Cassie，并能把一部分 open-loop 性能转移到 closed-loop/hardware。

最强证据是跨 evaluation mode 的一致改善，而不是某个最大百分比。open-loop 接近 full-model benchmark 说明 ROM constraint 变得更 permissive；simulation 中可完成区域扩大说明 planner constraint 确实改变了 capability；真机 torque cost 改善说明不是纯数值优化幻觉。

但 evaluation 也有明显边界。任务仍主要在步态 locomotion 的局部族内，且 optimized ROM 的训练/测试分布有相当 overlap，只是做了有限外推。真机实验集中在较简单的平地直线速度变化，坡地/转弯的大范围 claim 主要来自 simulation。一般 learned embedding r 的优势没有在真机上充分证明，硬件展示使用的是更保守、更可解释的固定 CoM embedding。benchmark 支持“可优化 ROM 比 LIP 好”，但不足以证明“自动发现通用最优 simple model”。

Limitation

最大的限制是 open-loop-to-closed-loop gap。内层 trajectory optimization 会利用任何可用自由度降低代价，包括可能损害鲁棒性的 CoP 边缘化策略；如果不额外 regularize，得到的 ROM 未必可稳定跟踪。论文承认这一点，并通过 CoP 约束、spline heuristic、double-support blending 等工程处理缩小 gap。因此硬件成功不是纯粹由模型优化自动导出的。

第二，方法对初始 ROM 可行性依赖很强。外层梯度来自内层可解的 trajectory optimization，如果初始模型不能走或大量任务 infeasible，算法就没有稳定信号。这限制了随机初始化和大范围模型搜索。

第三，scalability 受内层 full-order NLP 限制。每次外层更新都要对多个任务求解高维 trajectory optimization；这适合 offline synthesis，不适合快速在线 adaptation。更复杂机器人、更大任务分布、更高维 ROM 会显著增加成本。

第四，模型复杂度选择仍是人工问题。ROM 维度、basis order、是否优化 r、是否保持物理解释，都决定性能/实时性/可部署性的 Pareto 位置。论文没有自动解决这个选择，只是展示若选得合理可以有效。

第五，hybrid impact dynamics 的低维建模仍未解决。对特殊 CoM ROM，作者采用简化 discrete footstep update；对一般 ROM，则在 planner 中引入 full-order impact states。这本质上是把低维 discrete dynamics 问题绕开或转移，而不是解决。

Takeaway

  • 1. 最值得迁移的思想是：评价低维模型时，不要问它拟合 full dynamics 多好，而要问它作为 planner constraint 时对 full system 的最优代价损失有多大。
  • 2. 对 locomotion ROM 来说，物理可解释性不是免费的；LIP/SLIP 的漂亮结构可能正是性能瓶颈。
  • 更好的 ROM 可能是“物理上不直观但控制上对齐”的低维约束。
  • 3. Bilevel + trajectory optimization + dual sensitivity 是一种可复用的 model synthesis pattern，可迁移到 manipulation、dexterous contact、quadruped gait family 等任何需要低维在线规划但 full-order optimization 太慢的场景。

一句话总结

这篇论文把腿式机器人的 ROM 设计从手工物理简化推进到任务代价驱动的低维约束优化，是 model-based locomotion 中一次重要的 representation-alignment 式演化，但其真机有效性仍依赖可解释 embedding、鲁棒性正则和大量工程闭环处理。