Science Robotics / Research Article

DTC: Deep Tracking Control

作者：Fabian Jenelten, Junzhe He, Farbod Farshidian, Marco Hutter · 单位：Robotic Systems Lab, ETH Zurich, 8092 Zurich, Switzerland · 来源：Science Robotics · 发布日期：2024-01-17 · DOI：10.1126/scirobotics.adh5401

移动机器人仿生机器人强化学习机器人

精读笔记

Problem Setting

论文标题：DTC: Deep Tracking Control（Science Robotics / 2024）。这篇论文处理的不是一般 rough-terrain locomotion，而是更尖锐的 regime：地形中有效接触区域稀疏、落脚点误差容忍度很低，同时真实接触又充满模型误差。典型例子是 gaps、stepping stones、窄梁、高箱体、软/滑/可动表面、视觉地图漂移或局部失效。

真正困难点在于两个能力通常互相冲突：精确落脚需要预测性规划和地形约束求解；真实部署需要闭环鲁棒性、接触反射和对感知错误的容忍。TO/MPC 能给出合理 footholds，但其执行层通常假设接触、摩擦、状态估计和地图都足够可信；RL policy 能从随机化中学到恢复技能，但在稀疏可落脚区域上探索信号太弱，容易学成“能走但不会选脚”的控制器。

所以这篇论文的实际问题是：如何把 model-based planner 的 contact-level foresight 转化为 model-free controller 可利用的 dense conditioning，同时不把 planner 的脆弱假设直接传递到低层控制。关键矛盾是 planner 的精确性和 policy 的鲁棒性如何共存，而不是简单把 TO 和 RL 串起来。

Motivation

作者的出发点很清楚：纯 TO 的失败多数不是因为它不会规划，而是规划结果在真实世界里无法被可靠实现；纯 RL 的失败多数不是因为它不会恢复，而是它不知道 sparse terrain 上该往哪里落脚。已有模仿 TO 的方法通常离线收集 expert trajectory，主要降低 reward sparsity，但部署时 expert 意图未必在线存在；residual RL around WBC 则仍然绑定在传统控制器的假设和失败模式上。

DTC 想补的缺口是“在线 expert intention 可见”的 tracking policy：训练时和部署时都能看到 planner 的当前意图，而不是只在训练数据里见过 expert demonstration。这样 policy 不需要自己从稀疏奖励中发现 stepping strategy，也不需要完整相信 planner 的动力学轨迹；它只需把 planner 的低维接触计划转成鲁棒运动。

这个动机本质上是重新划分责任边界：planner 负责 combinatorial/geometric part，policy 负责 contact-realization part。这个划分比“让 RL 学全部”或“让 WBC 跟全部轨迹”都更合理。

Core Idea

DTC 的核心思想不是“RL + TO”这个表层组合，而是把 TO 的输出表示成一种 planner-conditioned locomotion prior。policy 观察优化器给出的目标 footholds、接触相位、touchdown 时的关节姿态提示和局部脚到目标点之间的高度扫描，然后输出关节位置目标。它不是 imitation 一个完整 state trajectory，也不是在已有 WBC torque 上做 correction，而是学习一个从 reference intent 到动作的闭环映射。

这个设计引入的 inductive bias 是：在复杂地形上，最可迁移、最任务相关的规划信息不是完整 base trajectory，而是未来若干接触点及其相位结构。foothold 是一种低维 bottleneck，既保留了 TO 对地形几何的推理，又避免把 base pose、contact force、full-body dynamics 等 planner-specific、model-sensitive 的细节强加给 policy。

和 prior 的本质区别在于信息流方向：传统 TO->WBC 是 planner 直接控制执行；imitation/RL-from-TO 是 expert 数据帮助训练后被丢弃；DTC 是 planner 在 test time 持续作为条件输入存在，policy 则成为 learned tracking controller。它更像把 RL 变成一个 robust universal tracking layer，而不是一个 standalone locomotion solver。

Method

关键机制可以压缩成几个必要设计。

第一，reference abstraction：policy 只看 planar footholds、desired contact state、phase timing、touchdown joint positions 和局部 height scan，不看完整优化 base pose。它解决的是 planner-specific overfitting 和地图漂移敏感性问题。核心变化是把参考从“轨迹跟踪”降维为“接触意图跟踪”。这也是后续能 zero-shot 接另一个 MPC planner 的主要原因。

第二，foothold-centered reward：训练不再依赖 task completion sparse reward，而是在计划 touchdown/contact 时刻奖励脚是否到达目标 foothold。它解决的是 gaps/stepping stones 中有效样本稀少的问题。重要的是这个 reward 不是普通 imitation loss，而是在接触事件上对准 planner 的几何决策，把 exploration 问题变成局部 tracking 问题。

第三，joint-space touchdown hint：desired joint positions 实际上给了一个 IK shortcut。论文也承认没有这个信号收敛和 tracking 都变差。它解决的是网络隐式学习 IK 的困难。这里的贡献更偏 representation alignment，不是控制理论创新。

第四，asymmetric actor-critic + 噪声/随机化：critic 可见 privileged dynamics 和扰动，actor 只见 noisy measurement。它解决的是 sim-to-real 和错误 reference 下的恢复问题。真正作用是让 policy 学到何时跟 reference、何时忽略 reference 并依赖 proprioception。

第五，训练低频优化、部署高频优化：训练时主要在 touchdown 等事件更新 planner，避免 optimizer 每步追随 agent 造成 lazy local optimum，同时降低计算；部署时尽可能高频 replanning，用 test-time compute 修正外界扰动和状态偏差。这是一个重要但偏工程的稳定化手段。

Key Insight / Why It Works

我认为这篇最核心的 insight 是：对 legged sparse terrain，foothold plan 是比视觉地图、更比完整状态轨迹更合适的 policy conditioning。它天然是任务相关的低维 latent structure。RL 不需要从 raw terrain 中自己发明 stepping strategy；TO 也不需要对真实接触闭环负责。这个 bottleneck 把两个范式最擅长的部分接起来。

方法有效主要来自四个因素。

第一是 better inductive bias。foothold-conditioned policy 把地形几何规划显式外包给 TO，使 sparse reward 消失。相比端到端 RL，这不是探索更强，而是直接给了答案的结构化版本。

第二是 representation alignment。touchdown joint positions 把 task-space foot target 转成 joint-space hint，大幅降低学习 IK 和身体构型选择的难度。这一点可能比论文叙述中显得更关键；如果没有这个 hint，policy 要同时学 IK、swing clearance、contact timing 和 disturbance recovery，难度会明显上升。

第三是 test-time compute。部署时 optimizer 高频运行，policy 每步查询最新 plan。这意味着 DTC 不是纯 amortized policy，而是 online planning + learned execution。很多泛化能力来自 planner 在测试时重新求解，而不是 policy 内部推理。

第四是 massive data coverage。4096 robots、两周训练、超大 terrain curriculum、约 23 年优化轨迹，这些不是小细节。文中说 sample efficiency 并未优于统一 RL policy，这说明 foothold accuracy 本身很难学，成功很可能高度依赖 scaling 和 curriculum。不能把全部增益归为架构优雅。

哪些部分最可能只是辅助：具体 PPO、MLP、PD joint target、terrain curriculum 的许多细节都更像成熟 locomotion RL recipe；变量优化频率和 height scan 采样方式是有用工程设计，但不是概念突破。

哪些部分是真贡献：1）把在线 TO reference 作为 policy conditioning，而非离线 imitation；2）选择 foothold/contact phase 作为 planner-policy 接口；3）通过隐藏 base trajectory 获得 planner-invariant tracking；4）让 learned low-level controller 承担传统 WBC 在模型误差下无法处理的恢复。

需要警惕的归因：所谓“generalizes across planners”只在同一 trot gait 和类似 foothold distribution 下成立。它不是对任意 TO 方法泛化，而是 foothold representation 恰好抹掉了两个 planner 的差异。若 planner 输出更动态、更非对称、不同接触时序或跳跃式动作，性能不清楚。这里的 generalization 更像 distribution-compatible tracking，而不是真正 planner-agnostic control。

Relation To Prior Work

DTC 位于 model-based planning + learned locomotion controller 这条谱系上，最接近 imitation from TO、residual RL over model-based controllers、hierarchical footstep-conditioned locomotion，以及 DeepLoco/DeepGait 这类 high-level planner + low-level policy 框架。

和 imitation from TO 的差异在于，DTC 不是把 expert trajectory 当离线示范来降低训练难度，而是部署时仍然在线生成 reference。expert 不被蒸馏掉，而是作为运行时条件变量保留。因此它不是单纯 behavioral cloning/RL with demos，而是 online model-based conditioning。

和 residual RL / correction around WBC 的差异在于，DTC 不保留传统 inverse dynamics / WBC 为主执行器；policy 直接输出关节目标，承担完整低层控制。这避免了 WBC 的接触假设和状态机脆弱性，但也意味着训练成本更高、可解释性更弱。

和纯 hierarchical RL foothold planner 的差异在于，高层不是学出来的 neural planner，而是 TO。这样 sparse terrain 上的 foothold discovery 由优化器完成，避免了高层 RL 本身也需要探索稀疏 contact sequence 的问题。

看似新的部分中，PPO、asymmetric actor-critic、domain randomization、terrain curriculum、PD action interface 都是已有套路；实质创新是 planner-policy 接口设计，以及把 foothold 作为跨 planner 的低维 intention representation。

Dataset / Evaluation

评估覆盖较广，且大量是真机实验，这是论文说服力的重要来源。任务包括 sparse foothold terrain、窄支撑面、高台、滑/软/可动物体、隐藏陷阱、视觉缺失、户外/搜救类场景。它确实比单一 benchmark 更接近真实 deployment 需求。

实验基本支持核心 claim：DTC 在 sparse contact terrain 上优于 RL baseline，在模型假设被破坏时优于 TO/MPC baseline。这个 evidence 与方法假设一致：planner 给足落脚意图，policy 提供恢复能力。

但 evaluation 也有明显边界。第一，baseline RL 是否在相同 reference 信息下训练并不对等；DTC 拿到了 planner supervision 和 test-time compute，而 pure RL 没有，这不是公平比较“学习算法强弱”，而是比较“有无在线规划”。第二，planner generalization 只验证了一个额外 MPC 且保持 trot gait，相当有限。第三，许多真机实验重复次数不大，更多证明 feasibility than statistical robustness。第四，大规模训练数据与 terrain curriculum 的贡献没有被彻底剥离，增益来源不清。

总体看，评估足以证明这是一条实用有效的 hybrid control pipeline，但不足以证明 policy 获得了强语义泛化或 planner-agnostic execution。

Limitation

最核心限制是方法把困难从“RL 学会在哪里落脚”转移到“必须有一个足够好的在线 foothold planner”。如果 planner 在地形分割、地图质量、运动可达性或接触时序上出错，policy 只能在一定范围内补救。论文展示了 drift 和 hidden trap 下 policy 可忽略 reference，但这种忽略能力不是无限的；rough terrain 上 drift 增大后性能下降也说明了边界。

第二，泛化依赖 foothold distribution overlap。作者自己也指出，不同 planner 若产生训练中没有出现过的 footprint pattern，tracking 会退化。因此所谓 planner generalization 的上限由训练 reference manifold 决定，而不是由网络学到某种通用控制规律决定。

第三，固定 trot gait 是强限制。很多真正困难的地形需要可变步频、不同 gait、暂停、跳跃、非周期接触甚至身体接触策略。DTC 当前接口把 contact schedule 当条件而非 policy 决策，降低了学习难度，也限制了运动空间。

第四，样本效率并不突出。论文承认训练不比统一 RL 更省样本，foothold accuracy 需要大量 epochs。这说明核心能力可能主要来自 scaling / data，而不是架构天然高效。若换成更复杂机器人、更长 horizon 或更高维接触计划，训练成本可能继续放大。

第五，reasoning 成分主要在 planner，不在 policy。policy 的“泛化”更像对 planner 输出和训练地形分布的 robust retrieval/interpolation。不要把它理解成神经控制器学会了地形推理。

第六，真实世界部署仍需完整 mapping、state estimation、TO runtime、传感器栈和机器人硬件能力。DTC 减少了 WBC 对完美模型的依赖，但没有消除系统工程复杂度。

Takeaway

  • 1. 对 sparse-contact locomotion，最值得迁移的不是“用 RL 替代 MPC”，而是找一个低维、任务关键、跨 planner 相对稳定的接口变量；在这里就是 foothold/contact intention。
  • 2. 在线规划和离线学习不应被看成二选一。
  • 更强的范式是 test-time planner 负责组合/搜索，learned controller 负责 amortized robust realization。
  • 3. 不要让 policy 跟踪完整优化轨迹；完整轨迹通常包含太多 planner-specific 和 model-sensitive 信息。

一句话总结

DTC 是一类在线轨迹优化条件化的 learned tracking controller：它真正贡献的是把四足稀疏地形 locomotion 从端到端探索问题重写为 foothold-intention tracking 问题，并用 test-time planning + learned reflex 连接 TO 的精确性和 RL 的鲁棒性。