IEEE Transactions on Robotics

Online Multicontact Receding Horizon Planning via Value Function Approximation

作者：Jiayi Wang, Sanghyun Kim, Teguh Santoso Lembono, Wenqian Du, Jaehyun Shim, Saeid Samadi, Ke Wang, Vladimir Ivan, Sylvain Calinon, Sethu Vijayakumar, Steve Tonneau · 机构：School of Informatics, University of Edinburgh, Edinburgh, U.K.; Department of Mechanical Engineering, Kyung Hee University, Suwon-si, South Korea; Idiap Research Institute, Martigny, Switzerland; École Polytechnique Fédérale de Lausanne, Lausanne, Switzerland; Dyson Limited, Malmesbury, U.K.; Touchlab Limited, Edinburgh, U.K.; Artificial Intelligence Programme, Alan Turing Institute, London, U.K.

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：2791-2810

路径规划运动规划控制优化人形机器人

精读笔记

Problem Setting

论文标题：Online Multicontact Receding Horizon Planning via Value Function Approximation（IEEE Transactions on Robotics / 2024）。

这篇论文处理的是人形机器人在非平坦地形上的多接触 receding horizon planning：每个周期规划下一步要执行的 centroidal trajectory，同时要让这一步对后续地形仍然“有用”。真正困难不在于把一步规划出来，而在于当前一步必须携带未来可行性信息，例如提前调整 CoM 速度、角动量、落脚位置和相位时序，否则短视规划会把机器人带到后面 NLP 不可解的状态。

传统 RHP 的解法是加一个 prediction horizon，把未来几步也放进同一个 trajectory optimization 中，虽然未来段不执行，但它提供了近似 value function 的作用。问题是 multicontact centroidal dynamics 本身已经非凸，长 horizon 还叠加接触位置、接触力、相位切换时间、角动量动力学，在线求解基本不可承受。

因此关键矛盾是：如果 PH 用 accurate dynamics，未来引导可靠但计算太慢；如果 PH 太短或太粗糙，当前 EH 虽然能算出来，但可能缺少未来梯度，尤其在大坡这种需要动态平衡和动量积累的场景中会失败。

Motivation

作者的出发点不是重新发明一个更强的全局多接触 planner，而是指出 RHP 中最昂贵的部分其实是 value function approximation。EH 必须动态一致，因为它要被执行；但 PH 只是为了评价“走到 EH 末端以后是否还好走”，它不一定需要和 EH 一样真实。

已有路线的问题在这里很明确：完整长 horizon TO 提供最干净的未来可行性信息，但在线性差；纯短 horizon TO 计算快，但没有足够 anticipation；直接学习 value function 又很难，因为多接触 value function 定义在状态和环境耦合空间中，环境几何变化会导致 value landscape 变化，直接拟合标量价值或终端 cost 参数化压力很大。

论文的核心缺口是：如何用更便宜的形式给 EH 提供足够有用的未来引导。作者提出的两种答案分别对应 model-side approximation 和 data-side approximation：前者降低 PH fidelity，后者把未来压缩成 learned local objective。

Core Idea

核心思想是把在线多接触 RHP 明确重写成 Bellman-style 的有限 horizon policy + value approximation 问题。这样一来，优化问题中“马上执行的部分”和“只用于看未来的部分”可以被区别对待：EH 仍然用准确 centroidal dynamics，PH 可以用更便宜的模型，或者干脆由学习模型替代。

MF-RHP 的本质是非均匀模型精度分配：把高 fidelity 预算集中在会被执行的一步，把低 fidelity 预算用于未来评估。这不是简单减少 horizon，而是改变了 horizon 内的建模分辨率。它引入的 inductive bias 是：未来段只需要提供方向性 feasibility/cost gradient，不需要生成可执行轨迹。

LG-RHP 更进一步：它不直接学习复杂的 value function，而是学习局部目标生成器。oracle 输入当前状态、目标和局部环境，输出下一步应达到的 CoM 状态、落脚点和相位时间；随后短 horizon TO 只需要朝这个 local objective 规划。这等于把长 horizon 专家的未来判断蒸馏为一步 waypoint policy，再用 optimization 作为 dynamics feasibility filter。和直接 imitation action 的区别是，最终执行轨迹仍由 TO 产生，因此学习误差不会直接变成动力学违规轨迹。

Method

MF-RHP 解决的是 PH 太贵的问题。它保留传统 RHP 的 trajectory-based value approximation，但在 PH 中替换 accurate centroidal dynamics 为凸松弛模型。关键机制不是“用了凸优化”本身，而是 EH/PH 的 fidelity 分离：执行段严格，预测段宽松。这样即便 PH 产生的未来轨迹不完全可执行，也能作为终端状态选择的引导信号。

论文测试了三种 PH 松弛。只保留线性 CoM 动力学的版本失败，说明多接触未来可行性不能只靠质心平移解释；角动量/力矩信息即使以粗糙凸松弛形式出现，也对价值近似很关键。第二、三种通过对角动量率中的双线性项做凸外近似，并在第三种中用点足减少维度，体现的是“保留关键物理耦合，但降低求解复杂度”的折中。

LG-RHP 解决的是即使 relaxed PH 仍可能太慢或不够准的问题。它用离线长 horizon RHP 生成专家数据，训练 oracle 预测局部目标，然后把终端目标从最终任务目标替换为 oracle 输出的下一步目标。这里最重要的机制是目标空间蒸馏，而不是神经网络结构。phase timing 也由 oracle 预测并以约束形式缩小搜索空间，这显著减少 NLP 的自由度；这部分很可能是计算收益的重要来源之一。

增量训练用于处理 rollout distribution shift：当 LG-RHP 因 oracle 误差进入失败状态，作者回到失败前若干周期，用长 horizon RHP 生成 recovery demonstrations 加入数据集。这不是提升理论保证，而是通过补齐 failure neighborhood 提高闭环鲁棒性。

Key Insight / Why It Works

这篇论文最有价值的 insight 是：在 RHP 中，未来 horizon 的角色不是产生可执行 motion，而是提供 value gradient。因此未来段的建模精度可以和执行段解耦。这个判断非常实用，也解释了为什么 MF-RHP 在中等坡度上有效：PH 的 relaxed dynamics 虽然不精确，但只要能大致编码接触力、CoM 和角动量之间的未来约束，就足以避免明显短视决策。

角动量信息是 MF-RHP 的关键。Candidate 1 失败说明仅靠线性 CoM 动力学会给出错误的未来可行性判断，尤其在斜坡上，接触法向、摩擦锥、力矩平衡和动量调制共同决定下一步是否可行。这里的贡献不是某个具体 convex relaxation，而是实验上确认了“PH 可以低保真，但不能丢掉决定可行性的物理变量”。

LG-RHP 的有效性主要来自 representation alignment 和 expert distillation。直接学 value function 难，是因为标量价值在状态-环境空间中形状复杂；学 local objective 更容易，因为专家长 horizon 规划中的下一步目标天然是低维、可监督、和短 horizon TO 接口对齐的表示。换言之，oracle 不是在学完整 planner，而是在学“长 horizon planner 希望下一步落到哪里”。这是一种很强的 inductive bias。

需要直接指出：LG-RHP 的计算增益很大一部分来自 horizon 缩短和 timing 搜索空间收缩，学习本身提供的是目标引导而非可行性保证。所谓 learned value function 其实不是传统意义上的 value approximation，而是把 value function 的 minimizer 或下降方向编码成局部 waypoint。它更接近 retrieval / imitation of expert subgoals，而不是学习一个可泛化的全局价值函数。

增量训练的收益更像 data coverage 修补，不是算法层面的根本解决。它能覆盖训练环境 rollout 中常见的 failure basin，但对于新 terrain modality、未见接触几何组合或显著不同任务目标，仍可能失效。文中没有充分说明 oracle 是否学到了可组合的几何-动力学结构，还是主要在训练分布附近插值。

最可能的核心贡献排序：第一是 value approximation 视角下的 EH/PH fidelity separation；第二是用 local objective 代替 direct value learning 的接口设计；第三才是具体 NN 和增量训练。MF-RHP 的 convex relaxation 设计有价值，但在大坡上暴露出上限；LG-RHP 的真机演示强，但能力很可能主要来自专家数据覆盖和受控任务分布。

Relation To Prior Work

这篇论文位于 optimization-based multicontact planning、MPC/RHP、learning-augmented trajectory optimization 的交叉线上。和传统 centroidal TO 相比，它不是追求更准确的动力学或更强 NLP 求解器，而是重新分配建模精度，把复杂度从未来段移走。

和 convex centroidal approximation 工作相比，MF-RHP 的不同点在于它没有把整个规划都替换成 convex model，而是只在 PH 中使用 relaxed model，EH 仍保持准确模型。这一点很实质：它避免了 convex outer approximation 直接生成不可执行轨迹的问题，因为 relaxed 部分不执行。

和多保真 MPC/DDP 类工作相比，论文的重点不是 whole-body + reduced-order 的层级控制，而是把多保真明确放在 value approximation 的语义下，并应用在 uneven terrain humanoid multicontact 中。这个 framing 比具体模型更重要。

和 learned value function / terminal cost 方法相比，LG-RHP 的真正差异是它不拟合 scalar value，而是预测局部目标并构造简单二次 value。这是已有思想的重组，但重组得很合理：用学习处理环境依赖的未来选择，用 TO 处理局部动态可行性。它避免了直接学习 action 的动态一致性风险，也避免了显式 value function 参数化的高难度。

看似新的地方包括 Bellman 叙述和 oracle 命名，但本质上是 expert trajectory distillation + short-horizon constrained optimization。实质创新在于这个接口设计适配了 multicontact RHP 的痛点，而不是 NN 本身。

Dataset / Evaluation

评估覆盖了两类核心场景：中等坡度和大坡度。前者主要验证在线效率和一般 uneven terrain 行走；后者验证需要动态平衡、不能依赖静态稳定的情况。这个设置基本能支撑论文的主要 claim：未来引导对多接触 RHP 很重要，而便宜的 value approximation 可以显著改善在线性。

仿真中 baseline、MF-RHP、LG-RHP 的对比比较有说服力：baseline 收敛可靠但慢；MF-RHP 在中等难度下体现 speed/accuracy tradeoff，在大坡上暴露 relaxation 不准；LG-RHP 最快但存在 oracle-induced failure。这些结果与论文机制解释一致。

真机 Talos 实验是论文的重要加分项，尤其展示了运行时地形变化下的在线重规划。不过真机场景仍然相对受控：VICON 提供环境识别，接触表面序列和几何表达简化，坡度有限，且控制栈假设能稳定跟踪 centroidal plan。它验证了系统可部署性，但没有证明开放环境中的泛化能力。

评估没有充分回答 oracle 的泛化边界。作者为 moderate slope 和 large slope 分别训练 oracle，已经说明单一模型跨 modality 存在困难。测试地形虽未见，但生成分布与训练采样过程高度一致，因此不能过度解读为强 out-of-distribution generalization。

Limitation

最核心限制是离散接触决策被外部给定：接触面序列、步态模式、未来落脚表面都预定义。这样避开了 multicontact planning 中最难的组合部分。论文解决的是在给定接触序列下的在线连续优化，而不是完整自主多接触规划。

MF-RHP 的上限来自 relaxation fidelity。PH 虽然不执行，但如果 relaxation 太松，会给 EH 错误的未来可行性信号；如果 relaxation 太 tight 或 PH 太长，又失去在线优势。大坡实验已经说明当前角动量凸松弛和固定 PH phase timing 对高度动态运动不够。这里没有通用设计准则，更多是 engineering tradeoff。

LG-RHP 的核心能力可能主要来自数据覆盖。oracle 学的是专家长 horizon RHP 的局部目标，训练数据由同类随机地形生成；当地形分布、目标形式、接触组合或机器人状态偏离训练覆盖时，oracle 可能给出 ill-posed local objective。增量训练只是把已观察到的失败附近补数据，不能保证覆盖组合爆炸的状态-环境空间。

所谓 value function approximation 在 LG-RHP 中有一定概念漂移。它没有学习 value，而是学习目标，再用二次 cost 构造 local value。这种 surrogate 很有效，但它的表达能力受限：如果未来需要多模态选择，一个单一局部目标可能掩盖多个可行策略；作者也承认不同 terrain modality 需要分开训练。

计算时间收益的归因不完全干净。LG-RHP 快，不仅因为 learned guidance，也因为 horizon 缩短、决策变量减少、phase timing 搜索空间被 oracle 约束。增益来源中哪些来自学习到的未来结构，哪些来自人为缩小 NLP，还需要更细消融。文中未充分说明这一点。

真实部署依赖感知和控制假设。VICON-based terrain update 与实际 onboard perception 差距明显；whole-body controller 的鲁棒性、状态估计误差、接触不确定性、模型误差没有被系统分析。在线 planner 可用不等于整机在非结构化环境中可靠。

Takeaway

  • 第一，RHP 中 PH 的本质是 value approximation，不是执行轨迹；因此未来段可以用低保真模型或 learned surrogate，这个思想可迁移到其他长 horizon 非凸机器人规划问题。
  • 第二，学习 value function 未必需要直接学标量 value；在结构化控制问题中，学习 local objective / subgoal 往往更容易、更稳定，也更容易和优化器接口对齐。
  • 第三，多保真规划的关键不是随便简化模型，而是保留决定未来可行性的物理耦合。
  • 对多接触 locomotion 来说，角动量/力矩信息不能从 PH 中完全移除。

一句话总结

这篇论文把在线人形多接触 RHP 的瓶颈重新定义为 value function approximation，并通过 PH 多保真化与 learned local objective distillation 给出了一条从完整非凸长 horizon TO 走向可部署在线规划的实用演化路径。