Science Robotics / Research Article

Learning robust autonomous navigation and locomotion for wheeled-legged robots

作者：Joonho Lee, Marko Bjelonic, Alexander Reske, Lorenz Wellhausen, Takahiro Miki, Marco Hutter · 单位：Robotic Systems Lab, ETH Zurich, Zurich, Switzerland · 来源：Science Robotics · 发布日期：2024-04-24 · DOI：10.1126/scirobotics.adi9641

移动机器人强化学习机器人

精读笔记

Problem Setting

论文标题：Learning robust autonomous navigation and locomotion for wheeled-legged robots（Science Robotics / 2024）。

这篇论文实际处理的是轮腿机器人从“能走/能滚”到“能在真实城市里连续自主移动”的系统级问题。它不是在孤立地优化 gait，也不是在做一个新的 local planner，而是在解决高速轮腿平台中长期被低估的接口问题：导航层给出的几何意图，低层 locomotion 未必能按假设执行。

关键矛盾是：城市环境大部分区域适合高效滚动，但一旦出现台阶、楼梯、斜坡、草地、行人、窄门、遮挡区域，机器人又必须像腿式系统一样处理接触和三维地形。轮腿机器人恰好把两类难题叠加在一起：速度高，所以反应时间短；运动模式多，所以可行性不是简单几何可通行；低层策略有延迟和跟踪误差，所以 planned path 不等于 executable path。

以前方法主要卡在两个地方。其一，hybrid locomotion 往往依赖手工 gait、heuristics 或 trajectory optimization，能解释但很难覆盖真实地形和高速瞬态。其二，navigation 仍然把机器人看成近似可完美跟踪的移动底盘，用 cost map / traversability / sampling planner 规划几何路径。这对普通慢速腿式机器人尚可接受，对高速轮腿机器人会暴露 tracking mismatch、replanning latency 和局部振荡问题。

Motivation

作者的核心观察是：在这种机器人上，navigation failure 很多不是因为 global path 不存在，而是因为局部 planner 不知道 locomotion controller 实际能不能执行它给出的动作。传统 pipeline 中，planner、path follower、locomotion controller 各自正确，但组合后会出现不连续、zigzag、暂停重规划、贴障过近、速度命令不可跟踪等问题。

已有路线缺的是一个能同时表达“环境几何”和“机器人当前运动能力”的决策层。显式 traversability map 通常是静态、局部、方向无关的，而轮腿机器人可通过性明显是方向相关、速度相关、状态相关的：下台阶和上台阶不是同一个问题，滚动和迈步不是同一个 cost，低层策略在不同地形上 tracking error 也不同。

因此作者不是单纯想用 RL 替代 planner，而是想把局部导航从 geometry-first 改成 mobility-aware control：让高层策略直接在低层策略的命令空间里做决策，并在训练中暴露给它低层策略的真实响应。这是本文最重要的动机缺口。

Core Idea

核心思想可以概括为：不要让导航器规划“机器人应该在哪里”，而是让它直接决定“此刻应该怎样命令低层控制器”。传统局部规划输出 pose/path，再通过 path follower 转成 velocity；本文的 HLC 直接输出 velocity command，并且训练时固定 LLC，使 HLC 学到 LLC 的能力边界、响应延迟和地形相关 tracking behavior。

这个建模方式改变了 inductive bias。传统 planner 的 inductive bias 是几何可行性；本文的 bias 是闭环可执行性。它不是先显式估计 traversability，再规划路径，而是通过 RL 在 procedural navigation tasks 中学习一个隐式的 mobility-aware value/behavior：哪里能走、用什么速度接近、什么时候绕、什么时候探索、什么时候保持距离。

另一个关键是信息流重组：HLC 读取 LLC 的 hidden state，而不是只读取显式 base velocity / orientation estimate。这相当于把低层 locomotion 中通过 privileged learning 和 RNN 压缩出的地形/扰动/接触 belief 暴露给导航层。这个设计比单纯输入 proprioception 更有意义，因为它让两个层级在 representation 上对齐：高层看到的是低层真正用于控制的内部状态，而不是外部估计器给出的可能失真的状态。

和 prior 的本质区别不在“用了 HRL”，而在把 local planning 和 path following 合并成一个 learned mobility interface。它减少了传统 pipeline 中最脆弱的中间表示：几何路径和理想跟踪假设。

Method

1. 低层 LLC：解决的是轮腿混合运动本身的模式选择问题。作者用 model-free RL + privileged learning 训练速度跟踪策略，去掉 CPG / predefined gait，让 rolling、trotting、creeping、主动悬挂式姿态调整等行为从 reward 和地形分布中出现。必要性在于轮腿 gait 没有可靠的生物先验，手工模式切换很容易在复杂地形上变成 brittle heuristics。

2. 高层 HLC：解决的是局部导航与低层可执行性之间的错配。HLC 不是输出局部路径，而是输出 vx、vy、yaw rate，直接命令 LLC。核心变化是把导航决策放在低层控制器的 action interface 上训练，使高层策略天然学到哪些 velocity command 会被 LLC 接受、哪些会导致 overshoot 或碰撞。

3. LLC hidden state 作为 HLC 输入：解决的是 mobility 信息不可观测的问题。显式状态估计在轮滑、离散高度变化和高动态接触下不可靠；LLC 的 RNN hidden state 可能包含 terrain、disturbance、contact confidence 等信息。让 HLC 访问它，本质上是 representation alignment，而不是简单加一个传感器。

4. 显式 position memory：解决局部遮挡和短视野探索问题。HLC 只有约数米级 elevation map，若没有记忆容易在局部最小值中重复动作。position buffer 并不是完整 SLAM memory，而是一个轻量的 visited-state prior，用来惩罚重复访问、促使 detour search。

5. Graph-guided procedural training：解决 navigation RL 中随机任务过稀、不可解或 curriculum 不稳定的问题。作者用 WFC 生成结构化环境，并用 navigation graph 生成可解路径和 reward。这里的关键不是 graph planner 本身，而是用图结构给 RL 提供一种 controllable task distribution，使策略学习绕行、窄通道、楼梯、动态障碍等组合模式。

6. 城市部署系统：包括预扫描点云 localization、人工 navigation graph、人检测写入 height map、安全层等。这些是让论文能真实落地的工程条件，但不是核心算法创新。它们显著影响最终成功率，不能在归因时忽略。

Key Insight / Why It Works

最核心的有效性来源是 interface learning。传统系统失败的地方往往不是 planner 找不到路，而是 planner 输出的 reference 对低层控制器不友好。本文让 HLC 在训练中反复和固定 LLC 闭环交互，等价于学习了一个低层控制器的可执行 command manifold。这样 HLC 会倾向输出 smooth、可跟踪、离障碍有余量、符合当前地形能力的速度命令。

第二个有效性来源是 latent structure reuse。LLC 通过 privileged learning 学到的 RNN hidden state，可能比显式状态估计更接近“机器人当前能否稳定执行某类命令”的充分统计量。HLC 使用这个 hidden state，实际上把 low-level representation 提升为 navigation feature。这比从原始 proprioception 重新学习 mobility 更 sample-efficient，也减少了跨模块语义错配。

第三个来源是 curriculum / data coverage。WFC + navigation graph 不是小细节，它很可能是 HLC 成功的关键之一。随机放障碍和随机目标很难产生稳定的绕行学习；图引导路径把任务分布限制在“可解且有导航结构”的区域内，让 RL 学到看似探索的行为。这里所谓 exploration 很大程度是训练分布中 detour patterns 的 behavioral retrieval，而不是通用规划推理。

第四个来源是 hierarchical decomposition。端到端从 perception 到 actuator 理论上更统一，但真实机器人系统中难以调试、难以复用、训练难度大。本文保留 velocity interface，是一种务实的 inductive bias：低层专注接触动力学，高层专注局部导航。这不是最纯的 RL，但对真实机器人更 scalable。

最可能的核心贡献是 learned mobility-aware HLC，而不是 LLC 本身。LLC 继承了 ETH/RSL 系列 legged locomotion RL 的技术路线，创新在轮腿平台和去 CPG 后的 gait emergence；但论文真正区别于 prior 的地方，是把 HLC 训练在真实 LLC dynamics 上，并用 LLC latent state 作为 navigation belief。

哪些可能只是辅助：beta action distribution、具体 CNN/MLP 架构、two-waypoint pure-pursuit 式输入、human detection 写 height offset。这些对系统稳定重要，但不是概念突破。

哪些可能主要来自 scaling / engineering：大规模真实部署的成功很大程度依赖硬件成熟度、预扫描 localization、人工图构建、安全策略和大量仿真调参。论文没有充分剥离这些因素，因此算法增益和系统工程增益的边界不清。

Relation To Prior Work

这篇属于 ETH/RSL legged locomotion RL 谱系的自然延伸：Hwangbo/Lee/Miki 系列的 sim-to-real locomotion、privileged learning、perceptive locomotion，再加上 Cerberus/ARTPlanner 一类 rough terrain navigation 的系统经验。它不是凭空提出新范式，而是把已有的 RL locomotion 成熟技术接到了城市级 local navigation 上。

和传统 traversability / sampling-based planner 的差异在于：prior 明确建模几何 cost，然后规划路径；本文隐式学习从局部地形和内部状态到可执行 velocity 的映射。前者更可解释、更容易加安全约束，但假设 tracking 和 cost model 足够准；后者更贴近真实闭环执行，但泛化和安全边界更难证明。

和 end-to-end navigation-locomotion RL 相比，本文更工程化也更稳健。它没有试图从 waypoint/elevation map 直接输出关节动作，而是保留低层速度跟踪接口。这看似不够端到端，但恰恰是有效的结构先验：把高维接触控制和局部路径决策拆开，降低训练难度并允许低层复用。

和 gait selection / trajectory optimization for wheeled-legged robots 相比，本文不显式求解步态或接触序列，而是让策略在大量地形中隐式发现 rolling/walking transition。这牺牲了可解释性和最优性保证，换来实时性、鲁棒性和复杂非建模行为，例如膝盖接触、飞行后恢复等。

实质创新在于 mobility-aware local navigation 的闭环训练和跨层 latent coupling；看似新的部分中，HRL、privileged learning、procedural generation、position memory 都是已有思想重组。但重组后的系统边界选得很好：正好打在真实轮腿城市部署中最脆弱的接口上。

Dataset / Evaluation

评估最有价值的是它做了真实世界、城市尺度、长距离部署，而不是只在仿真或室内 demo。Zurich 和 Seville 的实验覆盖了平地、楼梯、台阶、斜坡、草地、碎石、行人、窄空间等混合场景，确实支持“系统可以真实运行”的 claim。

但它不是一个严格的泛化 benchmark。城市任务依赖预扫描点云、人工 navigation graph、人工选择目标点和安全干预；环境虽然真实，但任务分布由作者定义。跨城市实验说明有一定 transfer，但不能等同于开放世界城市导航泛化。

与传统 planner 的对比有针对性，能说明 learned HLC 在短视野、高速、遮挡和 tracking mismatch 下更适合该平台。这个对比支持核心论点：传统 planning/path-following 接口在轮腿高速场景中不稳。但 baseline 是 legged robot navigation planner，并非专门为 wheeled-legged 高速平台重调的最强系统；因此结论应理解为“learned mobility-aware controller 优于直接迁移的传统 legged local planner”，而不是全面击败所有 model-based navigation。

实验没有充分回答几个归因问题：如果 HLC 不访问 LLC hidden state 会差多少？如果训练环境不用 graph-guided curriculum 会差多少？如果不用预扫描 localization，只靠在线 perception 会怎样？这些 ablation 对理解方法核心很重要，文中未充分展开。

Limitation

第一，长期 autonomy 仍然依赖人工先验。全局 navigation graph 由人构建，用于表达可走区域和社会偏好；点云预扫描用于 localization。也就是说，系统解决的是“在预建拓扑和定位框架下的局部自主”，不是完全开放城市导航。

第二，感知是上限。HLC 只看有限范围 elevation map，作者也承认 mapping 延迟限制了 autonomous deployment 的速度。硬件可跑更快，但 autonomy 跑不快，瓶颈不是 locomotion 而是 perception-update loop。这说明方法的 scalability 很大程度受 elevation mapping 表示限制。

第三，所谓探索能力有限。position memory 只有短程 visited positions，失败案例中 memory 满后策略会卡住。它没有形成可扩展的拓扑记忆或全局 belief update；更像局部 reactive exploration + anti-loop heuristic。把它称为 planning/reasoning 需要谨慎。

第四，泛化可能主要来自数据覆盖和训练分布设计。WFC 生成的环境、graph-guided paths、dynamic obstacle distribution 决定了 HLC 学到的行为边界。遇到语义复杂、几何相似但语义不可行的区域，例如草坪、道路边缘、施工区域、儿童、交通规则，系统需要外部语义或人工规则。

第五，安全性没有形式化。learned HLC 输出速度命令，确实响应快，但没有可证明 collision avoidance。对行人的处理通过检测后修改 height map，本质是工程 override，不是策略内生理解 human dynamics。

第六，增益归因不清。真实系统成功同时来自强硬件、成熟低层 RL、预扫描 localization、人工地图、procedural training、HLC 学习、human safety layer。论文展示的是一个强系统，但单个算法机制的必要性还没有被完全隔离。

Takeaway

  • 1. 对高速腿/轮腿机器人，local navigation 的核心不应是几何最短路，而应是闭环可执行性；planner 必须知道 locomotion policy 的真实能力分布。
  • 2. 低层 policy 的 latent state 是一个被低估的接口。
  • 与其让高层重新从 noisy proprioception 推断 mobility，不如直接复用低层控制器已经学到的 belief。
  • 这一 insight 可迁移到飞行机器人、灵巧操作、移动操作等多层控制系统。

一句话总结

这篇论文把 ETH 系列 RL locomotion 推进到城市级轮腿自主导航，真正贡献是用 learned mobility-aware high-level controller 替代传统局部规划/路径跟踪接口，属于从模块化几何规划向闭环可执行性学习演化的一步。