IEEE Transactions on Robotics

Spatio-Temporal Motion Retargeting for Quadruped Robots

作者：Taerim Yoon, Dongho Kang, Seungmin Kim, Jin Cheng, Min Sung Ahn, Stelian Coros, Sungjoon Choi · 机构：Department of Artificial Intelligence, Korea University, Seoul, Seongbuk-gu, South Korea; Department of Computer Science, ETH Zurich, Zurich, Switzerland; Department of Mechanical and Aerospace Engineering, UCLA, Los Angeles, CA, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：5471-5490

运动规划控制优化仿生机器人状态估计

精读笔记

Problem Setting

《Spatio-Temporal Motion Retargeting for Quadruped Robots》（IEEE Transactions on Robotics / 2025）解决的不是一般意义上的四足模仿，而是 reference motion construction：给定来自狗、动画、手持视频或其他机器人形态的 keypoint/contact motion，如何生成目标四足机器人可跟踪、可训练、可真机部署的 kino-dynamically feasible whole-body motion。

真正困难点有两个。第一，源动作的几何语义和目标机器人可达空间不一致：直接 keypoint retargeting 会带来足滑、穿地、接触时序改变、base 轨迹不合理。第二，动态动作的可执行性高度依赖时间尺度：同一个 backflip 或 hop-turn，对小而强的机器人和大而重的机器人不应有相同腾空时长。以前方法通常只修空间，或者只让 controller 尽量追 infeasible reference；这把一个 motion retargeting 问题错误地推给了 downstream controller。

这篇的关键矛盾是：既要保留源动作的语义，尤其 contact schedule 和局部姿态变化，又不能死守源动作的全局轨迹和时间参数化。作者的处理是允许空间和时间都变形，但用接触语义作为不变量。

Motivation

已有路线的缺口很明确：kinematic retargeting 便宜、通用，但没有物理保证；trajectory optimization / model-based control 可以修动力学，但如果输入 reference 的 base trajectory 或 contact semantics 已经错了，会出现“优化器在追一个本来不该追的目标”；AMP/DeepMimic 类方法可以对不完美 reference 有一定鲁棒性，但并不能凭空把不可能的参考变成可执行动作。

作者的核心观察是，四足动作的语义很大程度由 keypoint 相对运动和 contact schedule 决定，而不是由源系统的绝对 base trajectory 决定。特别是从手持视频获得的动物运动，全局坐标系本身就是不可信的；强行使用 pose estimator 给出的 base pose 反而会污染 retargeting。因此，缺的不是一个更强的 pose tracker，而是一个能从局部 keypoints + contact 中重建目标机器人自身 whole-body motion 的机制。

第二个观察是，动态可行性很多时候不是靠小幅空间修正能解决的，而是要改时间。飞行动作中，腾空阶段长度、落地时刻、动量积累窗口都必须随目标机器人质量、尺度、最大功率变化。这是 temporal retargeting 的动机。

Core Idea

论文真正的核心思想是把 retargeting 从单一几何匹配改成 spatio-temporal reparameterization：空间上，不再相信源动作的全局 base，而是用足端接触锚点把局部 keypoint motion 变成目标机器人自己的 base trajectory；时间上，不再固定源动作节奏，而是搜索一个目标机器人动力学上更容易完成的时间尺度。

这个建模方式引入了一个很强但合理的 inductive bias：contact schedule 是动作语义的骨架，base trajectory 是由足端锚定和机器人形态诱导出来的结果，而不是需要从源系统照搬的输入。对于四足，这个 bias 很关键，因为接触约束天然给出了从局部运动恢复全局位移的积分结构。没有这个约束，baseless keypoint reconstruction 是病态的，机器人可以在空中原地摆腿而同样匹配局部形态。

和 prior 的本质区别在于，STMR 不是“retarget 后再控制”，而是把 retargeting 本身做成一个 feasibility-seeking process。它保留源动作的 contact semantics，同时允许目标机器人在空间尺度和时间尺度上拥有自己的实现方式。这比直接 joint/keypoint mapping 更 generalizable，也比单纯 TO 更少依赖源全局轨迹的正确性。

Method

方法中真正必要的机制可以压缩为三层。

第一层是 SMR：它解决局部 keypoint motion 到 whole-body motion 的不可辨识问题。足端在接触段被锁到地面 anchor，swing 段保持非穿地，contact schedule 保持不变。这样 base 运动不是输入，而是由“足端锚定 + 关节运动 + 形态约束”推出来。核心变化是把足端接触从一个待估结果变成 reconstruction 的结构性约束。

第二层是 flight handling：在全足离地时，接触锚点暂时消失，SMR 假设 base 近似弹道运动。这是一个必要但较强的物理先验。它让跳跃阶段不会退化成任意 IK 漂移，但也意味着方法默认飞行段主要由重力和离地速度支配，复杂空中姿态调整对 base translation 的影响没有被充分建模。

第三层是 TMR：它解决“形态可行但动态不可行”的问题。作者没有直接把时间参数、状态、控制全部放进一个巨大非凸优化，而是将时间变形参数放在外层，用 BO 搜索；内层用 full-body DDP/MBOC 对给定时间变形后的参考进行动态跟踪并打分。核心变化是把时间可行性变成低维 test-time optimization，而不是要求 policy 在训练中自己消化错误节奏。

最后的 residual RL policy 主要用于真机鲁棒执行。它接收 STMR 生成的 reference，输出关节修正，并通过 PD 执行。这里的 RL 不是产生动作语义的地方，而是吸收模型误差、状态估计误差和 sim-to-real gap 的反馈层。

Key Insight / Why It Works

最重要的 insight 是：对于四足 motion retargeting，接触语义比全局轨迹更可靠、更可迁移。源系统的 base trajectory 往往携带形态和尺度偏置，甚至在视频中是噪声；但 foot contact schedule 与 keypoint 相对运动更接近动作语义。STMR 通过锁足把这些相对运动转化为目标机器人自己的全局运动，因此它不是简单缩放，而是在利用接触约束做一种 motion reconstruction。

第二个关键 insight 是：动态 retargeting 中很多失败来自时间参数化错误，而不是姿态本身错误。BackFlip 从 Go1 到 B2 的例子很典型：空间姿态可能相似，但较大的机器人需要更长的动作时长和不同的动量积累节奏。TMR 的贡献在于显式承认“同一动作语义在不同机器人上应有不同时间实现”。这比让 RL 从 reward 中自己摸索节奏高效得多。

我认为核心贡献主要是 SMR 的 contact-anchored reconstruction 与 TMR 的 temporal feasibility search 的组合。单独看，UVM、QP IK、DDP、BO、residual RL 都不是新工具；新的是信息流重组：先构造目标机器人可解释的参考，再训练控制器，而不是把 reference infeasibility 交给 policy learning。

哪部分可能只是辅助？Residual policy learning 和 domain randomization 更像 deployment engineering，是必要但不是论文方法的本质。BO 也更像一个实用的低维黑箱优化选择，不是深层理论贡献。其收益本质上是 test-time compute：为每个 motion/robot 花额外优化预算，寻找更容易被 dynamics/controller 跟踪的时间尺度。

增益来源相对清楚但仍有混合：相较 UVM/AMP，提升主要来自 better reference feasibility；相较 TO，提升来自 contact-preserving spatial reconstruction 和 temporal scaling 两者。文中虽然做了 SMR ablation，但对于 TMR score、DDP tracking quality、RL robustness 三者对最终真机成功率的单独归因仍不完全充分。

Relation To Prior Work

这篇属于 model-based retargeting + imitation learning 的谱系，更接近 OptMimic、Grandia-style nested optimization、contact-aware trajectory optimization，而不是纯 DeepMimic/AMP。它和 DeepMimic/AMP 的差别不在 policy architecture，而在 reference motion 是否先被目标机器人物理化。论文实际上是在说：如果 reference 不可行，换更强 imitation objective 不是根本解。

和传统 kinematic retargeting 的差别是，STMR 不把 keypoint matching 当最终目标，而是用 keypoint matching 生成受接触约束的目标机器人运动。UVM 保留 link direction，但不处理足滑、穿地和 base 轨迹；SMR 则把 foot locking/contact preservation 作为生成全局运动的机制。

和 contact-implicit TO 的差别更微妙。TO 往往允许接触模式为了可行性变化，或者围绕已有全局参考修正；STMR 反而把 contact schedule 固定为语义约束，并重新生成 base trajectory，使得 foot locking 不与源全局运动冲突。这是实质区别。

和 Grandia 等 nested optimization 的相似点是都用 model-based controller 评估/生成动态可行 motion；不同点是本文外层优化的是时间变形，并且前面加了一个 baseless motion reconstruction。看似新颖的 BO+DDP 嵌套其实是已有思想重组；更实质的新信息是：temporal deformation 是跨机器人动态动作 retargeting 中必须显式建模的自由度。

Dataset / Evaluation

实验覆盖相对扎实：有仿真、多机器人、多动作、真实硬件部署，也包含从 raw video pose estimation 到真机动作的链路，以及带箱子的 terrain-aware BackFlip。对于一篇机器人 retargeting 论文，这比只在仿真里比较 tracking error 更有说服力。

评估确实支持核心 claim：STMR 生成的参考更少足滑、接触保持更好、更容易被 policy 跟踪，并能跨不同尺度/动力属性机器人部署。尤其 HopTurn、SideSteps、BackFlip 这类含飞行阶段动作，能直接体现 temporal retargeting 的价值。

但 evaluation 的边界也很清楚。动作 clip 较短，最长仍在十几秒以内；时间段数最多 3；动作类型虽然包含动态技能，但还不是长时程组合任务或开放式行为。视频实验展示了 pipeline 可行，但更像 proof-of-concept，不足以证明 web-scale noisy video motion 都能可靠转成机器人数据。contact estimation 通过速度阈值和滤波获得，真实失败率、人工筛选程度、对 pose noise 的敏感性文中未充分说明。

此外，真机成功同时依赖 domain randomization、state estimator、residual policy、额外速度/高度观测等工程环节。论文展示了系统成功，但不是所有成功都能干净归因到 retargeting 本身。

Limitation

最核心前提是 contact schedule 必须可靠，而且源动作的 contact semantics 必须适合目标机器人保持。如果源动物与机器人足端数量、步态逻辑、接触持续时间或地形交互模式差异更大，固定 contact schedule 可能从优势变成限制。方法目前是 preserving contact，而不是 reasoning about contact replanning。

第二个上限是 temporal optimization 的维度。BO 在 S 很小时合理，但长动作、多阶段动作需要更细粒度时间重排时，外层搜索会迅速失效。作者承认动作短、segments 少；因此所谓 scalability 到 web-scale motion dataset 目前更像方向性愿景，不是已验证能力。

第三，SMR 的 baseless reconstruction 本质上依赖足端锚定积分，误差会随时间传播。错误 contact、pose estimator 抖动、地面高度估计错误都会变成 base trajectory 偏差。论文用滤波缓解，但这属于工程补丁，文中未充分说明鲁棒性边界。

第四，TMR 的动态可行性并不等于最终真机可执行性。内层 DDP 使用仿真 full-body dynamics，真实执行还需要 residual RL 吸收差异。因此 STMR 生成的是 better training reference，而不是直接闭环控制器。若没有 RL 和 domain randomization，open-loop optimal control 到真实机器人之间仍有明显鸿沟。

第五，方法可能把一部分难题转移到 motion preprocessing：pose estimation、contact labeling、terrain height map、segment selection、score design 都会影响最终结果。论文系统性强，但这些 hidden supervision / engineering choices 对结果的贡献没有完全剥离。

Takeaway

  • 1. 对四足 retargeting，应该把 contact schedule 看成动作语义的核心表示，而不是只看 joint/keypoint trajectory。
  • 接触约束可以把局部运动变成全局 whole-body motion，这是可迁移 insight。
  • 2. 跨机器人动态技能迁移必须显式处理时间。
  • 空间缩放只能解决 morphology，不能解决 power、mass、flight duration mismatch。

一句话总结

这篇论文把四足运动重定向从几何匹配推进到“接触锚定的空间重建 + 动力学约束下的时间重参数化”，其实质贡献是为后续 imitation learning 生成目标机器人专属的物理可行参考运动。