IEEE Transactions on Robotics

Traversability-Aware Legged Navigation by Learning From Real-World Visual Data

作者：Hongbo Zhang, Zhongyu Li, Xuanqi Zeng, Laura Smith, Kyle Stachowicz, Dhruv Shah, Linzhu Yue, Zhitao Song, Weipeng Xia, Sergey Levine, Koushil Sreenath, Yun-hui Liu · 机构：Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong, Hong Kong; University of California, Berkeley, CA, USA; Princeton University, Princeton, NJ, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：400-417

运动规划控制优化移动机器人仿生机器人

精读笔记

Problem Setting

Traversability-Aware Legged Navigation by Learning From Real-World Visual Data（IEEE Transactions on Robotics / 2026）。

这篇论文不是在解决一般四足避障导航，而是在解决“控制器相关的地形代价感知导航”：机器人要在真实户外环境中根据自身低层 locomotion controller 的执行表现，选择既能到达目标、又能避开高代价地形的路径。这里的核心矛盾是：高层 planner 需要在进入某片地形之前根据视觉预测其代价，但这个代价只有机器人实际踩上去、通过本体反馈和控制性能退化才能被定义。

以往方法卡在两个地方。环境中心方法把 traversability 当成几何/语义/人工 cost map，容易忽略具体机器人控制能力；机器人中心方法用 tracking error、IMU variance、fall indicator 等指标，又太局部、太 heuristic，不能完整反映四足全身控制质量。本文真正要补的是这两者之间的缺口：如何把低层控制器的 embodied performance 转化为可在线监督高层视觉 planner 的 reward signal。

Motivation

作者的核心观察是：腿式机器人上的 traversability 不是 terrain label，而是 terrain × robot morphology × low-level controller × command 的耦合结果。泥地、鹅卵石、落叶、沙坑这些地形对人类语义上可能都能标注，但对机器人而言真正重要的是它们是否导致 tracking 变差、base 摇晃、脚底打滑、能耗变高、动作不稳定等综合控制退化。

已有路线缺的不是更好的 semantic segmentation，而是一个能从机器人自身经验中产生可优化代价的机制。尤其在户外，photo-realistic simulation 很难覆盖真实纹理、光照和复杂地形物理；如果继续依赖仿真视觉训练或人工语义 cost，就会把关键监督信号放在错误源头。本文因此选择在真实世界里训练高层 planner，同时用低层 RL critic 提供在线 traversability feedback。

Core Idea

论文最核心的建模变化是：把 traversability 从外部标注的环境属性，改成低层控制器 value function 相对于 flat-ground baseline 的性能下降。也就是说，某片地形“难走”不是因为它被识别为 mud / rock / leaves，而是因为在相同 command 下，低层控制器的预期回报显著低于平地基线。这个定义天然是 robot-centric 和 controller-aware 的。

信息流也被重新组织了：低层 locomotion policy 不只是执行器，它的 critic 被复用为高层导航的自监督代价传感器；真实交互过程中，机器人边走边把 RGB-D 观测、动作、value-based terrain cost 存成 transition；高层 planner 再通过 offline+online RL 学习“视觉纹理 → 将来的控制代价 → 路径选择”。这比 prior 更 scalable 的地方在于，它不要求枚举物理参数或人工定义语义 cost，而是让控制器自己定义什么叫难走。

Method

关键机制可以压缩成以下几件事。

第一，低层 locomotion controller 用仿真 RL 训练，并冻结。这里的重点不是 PPO 本身，而是低层 critic 被保留下来作为 performance evaluator。冻结低层模块降低了真机高层 RL 的难度，避免 joint locomotion-navigation training 的不稳定性。

第二，traversability estimator 使用 value difference：T_value = V_flat(command) - V_terrain(observation, command)。flat baseline 是必要的，因为 goal-conditioned critic 本身会随速度/转向指令变化；如果不减 baseline，planner 可能学到的是“某些 command 难跟踪”，而不是“某些地形难走”。

第三，引入 uncertainty-aware fallback。作者用 dropout 多次前向估计 value uncertainty，当 critic 不可靠时增加 tracking-error cost 的权重。这是对 sim-to-real critic 失真的工程补丁，但机制上重要：它承认 value estimator 在真实世界不是 oracle，并提供退路。

第四，高层 planner 不直接从原始图像从零学，而是用预训练/预先训练的 RGB、depth encoder 输出 latent，再用 SAC/DroQ + RLPD 训练 base policy。offline data 来自 depth planner 和人类遥操作，online data 来自当前策略。这个设计本质是在真实世界中做 sample-efficient policy improvement，而不是纯 imitation。

Key Insight / Why It Works

最重要的 insight 是：低层 RL critic 可以作为一种“控制器内生的地形代价标尺”。相比 tracking error，它聚合了训练 locomotion controller 时所有 reward components 的长期影响，因此能捕捉一些 tracking error 看不到的退化，例如脚底滑移、姿态不稳、动作不平滑、未来失败风险。相比 semantic cost，它不需要人判断某类地形难不难，而是让机器人用自己的身体经验定义难度。

方法有效的第二个原因是 representation alignment：高层 planner 的 reward 来自同一机器人在同一环境中的真实交互，而不是离线人工标签。RGB 提供纹理先验，depth 提供几何障碍先验，本体 value/cost 提供物理监督。三者在真实 rollouts 中对齐，planner 才能学到“看起来像这类纹理的区域会让我的控制器难受”。这比单纯 RGB semantic segmentation 更接近可执行导航。

第三个有效因素其实是 data coverage + curriculum。先用 depth planner 和人类 demo 填 replay buffer，再 online RL fine-tune，相当于把高维视觉真机 RL 的探索空间强行缩小。这里的增益不全是算法创新，明显有一部分来自 staged training、offline warm start、预训练 encoder 和真实数据覆盖。RLPD 的作用更像稳定的工程选择，而不是理论上的核心贡献。

我认为真正的核心贡献是 value-based robot-centric traversability estimator 及其用于真实世界 planner reward 的闭环。RGB-D planner、DroQ/RLPD、混合 demo 都是必要但偏工程的支撑。没有这些支撑系统跑不起来，但如果问论文最可迁移的思想，是“用已有控制策略的 value drop 给上层决策提供 embodied cost”。

需要警惕的是，所谓泛化很可能主要来自局部纹理检索和数据覆盖，而不是形成了抽象地形物理推理。planner 看见类似落叶/树桩/灌木纹理后绕开，更像 learned visual association；当 texture 改变但物理属性类似，或 texture 类似但物理属性不同，它是否还能正确判断，文中未充分说明。

Relation To Prior Work

最接近的谱系有三条：一是环境中心 traversability mapping，包括几何、语义分割、semantic cost map；二是机器人中心 traversability learning，包括 tracking error、IMU variance、fall/failure prediction、SysID terrain parameters；三是真实世界 learning-based navigation，用 demo、BC、RL 或 offline-to-online RL 训练视觉策略。

本文和语义/几何路线的本质差异是监督源不同：不是由人把“rock/grass/mud”映射到 cost，而是由低层控制器 performance 决定 cost。这个差异是实质性的，因为它把 traversability 的定义从外部先验改成 embodiment-specific signal。

和 robot-centric heuristic 方法相比，value function 的优势在于它是多目标长期回报，而不是单一瞬时指标。tracking error 只能回答“当前 command 跟得准不准”，critic value 更接近“继续这样走下去控制器整体会不会表现差”。这使得它有机会捕捉更丰富的动力学退化。

但也要说清楚，许多系统层面的做法并不新：hierarchical policy、sim-trained low-level controller、real-world high-level planner、offline demo + online SAC、RGB-D fusion 都是已有思想重组。本文的新意在于把这些模块用 value-based traversability signal 串起来，并展示在真机户外环境中可工作。

Dataset / Evaluation

评估覆盖了仿真 ablation 和真实世界部署。仿真部分主要验证设计选择：value estimator、RGB-D 输入、offline data 来源、offline+online RL。真实部分覆盖落叶路、鹅卵石、沙坑、野外树林等，确实包含了 depth-only 难以判断、semantic segmentation 容易粗糙化的地形。这对核心 claim 是相关的。

真机实验的价值在于它不是单纯离线 benchmark，而是直接在 Unitree Go1 上做真实交互和在线训练，并展示十几分钟量级的适应。这比只在仿真或静态数据集上做 traversability prediction 更有说服力。

不过 evaluation 也有明显上限。第一，场景规模仍然较小，目标点较少，更多是局部导航而不是长程全局规划。第二，OOD 主要是布局变化、动态障碍、相似纹理或有限新地形；不能证明对完全新 texture/physics 的强泛化。第三，语义 baseline 的比较有一定系统不对称：baseline 使用开源 checkpoint 和固定 semantic cost，而 proposed 方法在目标环境中有在线交互和 adaptation，胜出并不意外。第四，缺少更系统的安全失败统计，例如陷入沙坑、跌倒、碰撞的风险边界。

Limitation

这个方法成立依赖几个前提。首先，低层 critic 的 value 必须在真实世界仍与控制性能相关；如果 sim-to-real gap 让 critic 对某些真实地形过度自信，dropout fallback 未必足够。文中用 uncertainty 展示了扰动情况下的响应，但 dropout uncertainty 是否校准、是否能覆盖 distribution shift，文中未充分说明。

其次，traversability signal 依赖低层 reward 设计。如果 locomotion reward 没有充分惩罚能耗、硬件冲击、微滑移或长期磨损，那么 value drop 就不会反映这些真实代价。所谓 holistic traversability 实际上继承了低层 reward 的偏置。

第三，高层 planner 本质上是局部 reactive policy，没有显式维护全局 traversability map 或长期记忆。它能在局部绕开落叶/石堆，但复杂迷宫式地形、需要临时穿越高代价区域换取全局最优的任务，可能会失败。它的“规划”程度有限，更像 learned local cost-aware steering。

第四，泛化上限由视觉数据覆盖决定。作者也承认不同纹理的新地形可能不泛化。核心能力可能主要来自数据覆盖和视觉 association，而不是学到了地形物理的可组合表示。

第五，在线真机 RL 的安全性没有被原则性解决。offline warm start 降低探索风险，但在未知危险地形中，策略仍可能需要通过踩上去才能获得 cost。这说明方法没有消除 traversability learning 的主动探索风险，只是把它变得更可控。

Takeaway

  • 1. 最值得迁移的思想是：把低层控制器的 value function 当作上层决策的 embodied cost sensor。
  • 凡是存在 hierarchical control 的机器人系统，都可以考虑用 lower-level critic/value drop 监督 higher-level planning。
  • 2. Traversability 不应被当成 universal semantic label，而应被定义为 platform- and controller-dependent performance degradation。
  • 这一点对腿式机器人尤其重要，也适用于轮式机器人、机械臂接触操作、飞行器扰动环境等。

一句话总结

这篇论文把四足 traversability-aware navigation 从人工语义/几何 cost map 推进到“由低层控制器 value drop 定义地形代价、再用真实 RGB-D 交互训练高层 planner”的机器人中心范式，是 embodied cost learning 在腿式导航中的一次系统化落地。