IEEE Transactions on Robotics

MARG: MAstering Risky Gap Terrains for Legged Robots With Elevation Mapping

作者：Yinzhao Dong, Ji Ma, Liu Zhao, Wanyue Li, Peng Lu · 机构：Adaptive Robotic Controls Lab (ArcLab), Department of Mechanical Engineering, The University of Hong Kong, Hong Kong, SAR China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：6123-6139

控制传感器仿生机器人定位建图强化学习

精读笔记

Problem Setting

这篇论文真正处理的是四足机器人在离散支撑面上的高风险局部运动控制：gap、窄桥、梁面等地形使得“落足是否安全”成为主导变量，而不是普通 rough terrain 中的阻尼、姿态恢复或速度跟踪。困难点在于，错误容忍度极低：脚尖落点偏几厘米、base 高度漂移几厘米、接触相判断错一个周期，都可能直接失败。

以往方法卡在两个方向。Blind locomotion 可以通过本体感知和 domain randomization 获得强鲁棒性，但 gap 的存在性本身不可由 proprioception 可靠推断；perception-based locomotion 可以看到地形，但常依赖多相机/多 LiDAR、motion capture、离线地图或全局 SLAM，这些在真机 risky terrain 上反而成为脆弱环节。这里的关键矛盾是：任务需要高精度局部几何，但系统又必须低复杂度、低漂移、可实时部署。

Motivation

作者的动机不是再做一个能走复杂地形的 RL policy，而是补上 risky terrain 中最缺的闭环链条：可部署的局部 elevation map、可用的身体速度/接触估计、以及显式偏向安全 foothold 的学习信号。

已有路线不够的核心原因是信息流不匹配。Blind policy 的内部隐状态无法稳定区分“前方是可踩石块还是空洞”；图像式 perception policy 往往把地形理解问题交给高维视觉网络，训练和部署成本高；全局 elevation mapping 则把高度精度绑定到长期定位精度上，而 gap/beam 任务对 z 轴漂移极其敏感。MARG 的核心观察是：不需要全局地图，也不需要复杂语义，只需要一个稳定的 ego-centric local height map，就能覆盖这类任务的大部分决策需求。

Core Idea

MARG 的核心思想是把 risky locomotion 从“端到端感知控制”改写成“局部几何条件下的反应式落足控制”。policy 看到的不是原始点云或图像，而是机器人周围短范围的相对高度图特征；同时，它不直接依赖不可测的真实速度和接触，而是通过历史本体感知学习一个控制相关的 latent state。这样做把复杂问题压缩成两个对控制最有用的变量：哪里能踩，以及当前身体状态是否允许这样踩。

这个建模方式引入了很强的 inductive bias：risky gap traversal 的关键不是长时规划，而是高精度短视局部地形 + 正确支撑相。相比 prior，MARG 的本质差异不在网络结构，而在信息组织方式：训练时用 privileged information 帮 estimator 和 critic，部署时只保留可获得的 proprioception + 单 LiDAR map。它牺牲了全局规划能力，但换来了更好的 sim-to-real 对齐和实时性。

Method

MARG 保留的关键机制可以概括为四点。

第一，elevation feature 是 policy 的核心外感知通道。它解决的是 blind policy 在 gap terrain 中不可观测的问题。相对高度图比图像/点云更直接对齐 foothold selection，也更容易从仿真迁移到真机。这里真正重要的是 representation alignment，而不是 elevation net 本身。

第二，estimator net 预测 body velocity 和 foot contact。它解决的是控制状态不完备的问题。四足机器人真实部署中线速度和接触状态都不稳定，尤其在 gap 和 beam 上，接触误判会直接影响下一步动作。用历史 proprioception 做 latent estimation 是已有思想，但 MARG 把它和 terrain feature、policy reward 联合训练，使估计目标更贴近当前任务。

第三，asymmetric actor-critic 用 privileged state 帮训练而非部署。这降低了探索难度，尤其是 friction、mass、扰动、真实速度等变量在仿真中可得但真机不可得。这里不是新范式，但对 risky terrain 很实用，因为失败样本代价高、稀疏且不稳定。

第四，TMG 把单 LiDAR 点云转成局部 elevation map，并通过接触约束状态估计抑制高度漂移。这个模块解决的是部署输入可信度问题。对这篇论文来说，TMG 不是附属工程，而是让 learned policy 真正可落地的必要条件。

Key Insight / Why It Works

这篇论文最重要的 insight 是：对于 gap / beam / narrow bridge 这类任务，locomotion policy 不需要理解完整环境，只需要一个局部、低漂移、与足端尺度匹配的 elevation representation。任务本身是短视的：下一步或下两步的可落足区域决定成败。因此，把感知压成 ego-centric height map 反而比高维视觉端到端更稳、更容易迁移。

真正有效的部分大概率有三个。第一是 terrain map 输入，它直接解除 blind policy 的部分可观测性瓶颈；消融也显示没有 map 基本无法完成任务。第二是 TMG 对高度漂移的处理，因为 risky terrain 对 z 轴误差极其敏感，普通 SLAM 的水平轨迹好不代表 elevation map 可用于落足。第三是 foothold reward shaping，它显式把“不要撞边、不要踩空、不要踩边缘”写进学习目标，极大降低了搜索难度。

estimator net 是重要辅助，但不是最原创的部分。它更像 RMA / DreamWaQ / NMN 系列思想在 risky terrain 下的任务化重组。asymmetric actor-critic 也是成熟套路。MARG 的主要贡献更接近 better inductive bias + representation alignment + deployable mapping，而不是新的 RL 算法。

需要警惕的是，性能可能相当依赖 curriculum 和 terrain distribution coverage。所谓“适应 risky terrain”未必意味着学到了抽象推理，更可能是 policy 在大量 gap/beam 模板上学习了局部 height pattern 到动作的 retrieval-like mapping。这里没有看到强证据表明其能处理与训练分布结构不同的 discontinuity。增益来源也不完全清楚，因为 observation、reward、mapping、estimator、curriculum 同时改变，存在明显归因耦合。

Relation To Prior Work

MARG 最接近的技术谱系是：legged RL with privileged learning / estimator latent + exteroceptive height map + sim-to-real domain randomization。和 RMA、DreamWaQ、MorAL 的关系很近，都是利用历史本体感知估计不可观测状态，并用 asymmetric training 提高部署鲁棒性。MARG 的不同点是把 terrain map 作为 actor 的核心输入，并把任务聚焦到 gap/beam 这类对 foothold 极其敏感的地形。

和 ANYmal Parkour、Extreme Parkour、PIE 等 perception parkour work 相比，MARG 的优势不在动作技能更复杂，而在部署链条更轻：单 LiDAR、局部 elevation、无需 mocap/离线地图/多传感器。它不是追求视觉语义理解，而是把地形感知降维成可控的 elevation mapping。

看似新的部分中，privileged critic、velocity/contact estimator、curriculum、domain randomization 都是已有思想重组；实质创新更偏系统层：针对 risky gap terrain，把 contact-aware local mapping、height-map-conditioned policy、foothold rewards 组织成一个可真机部署的闭环。换言之，这篇的贡献是系统级信息流设计，而不是单点算法突破。

Dataset / Evaluation

评估覆盖了仿真和真机，且真机场景比较丰富：大 gap、窄桥、不同高度/宽度/倾角的 beam，以及户外台阶、坡地、校园和山路环境。这比只在仿真或单一实验台上验证要强，基本支撑“单 LiDAR elevation map + RL policy 可以真实部署”的 claim。

消融设计也有价值：observation ablation 显示 terrain map、body velocity、contact state 的必要性；reward ablation 显示 foothold rewards 对成功率和接触估计都有影响；TMG 对比说明高度估计和 map 清晰度确实重要。这些实验支持核心机制，但没有完全解决归因问题。

主要 evaluation limitation 是分布外泛化不足。训练 terrain curriculum 和测试 risky terrains 在几何结构上高度一致，真实世界测试也主要是刚性、规则边缘的 gap/beam/bridge。它验证了 sim-to-real 和多场景鲁棒性，但没有充分验证对未知材料、非规则断裂、软/滑/动态支撑面的泛化。与 prior 的 comparison 也可能受到输入信息、reward shaping、训练资源和 curriculum 不一致影响，公平性文中未充分说明。

Limitation

MARG 的核心前提是局部 elevation map 足够准确且足以描述可落足性。这个前提在刚性、静态、几何清晰的 gap/beam 上成立，但在软地、草地、碎石、泥地、湿滑表面或可变形支撑面上会失效，因为 2.5D 高度不包含承载能力、摩擦和稳定性。

第二，方法很依赖 LiDAR 点云质量和外参。作者讨论了噪声、灰尘、FOV、标定误差等，但这不是表面问题，而是系统上限：policy 没有显式 map uncertainty，一旦 TMG 生成错误高度，控制器可能自信地踩错。它没有把 perception uncertainty 纳入动作决策。

第三，所谓 generalization 可能主要来自 curriculum scaling 和数据覆盖。训练中已经包含大量 gap、stone、beam 变体，真机测试又与这些结构相似，因此能力更像局部模式匹配而非可组合规划。文中没有证明 policy 形成了长期状态建模或真正的 planning。

第四，gait diversity 很窄，基本停留在 trot。对于更窄梁、更大 gap、更复杂支撑切换，单一 gait 会成为硬上限。MARG 目前更像一个强反应式控制器，而不是能自主选择 gait / speed / foothold plan 的通用 risky terrain locomotion system。

第五，增益归因不清。terrain map、foothold reward、estimator、privileged critic、TMG 和 curriculum 都在变。文中没有充分隔离这些因素，因此不能简单说 MARG 的优势来自某一个网络设计。

Takeaway

  • 1. 对 risky discontinuous terrain，最值得迁移的不是具体 PPO 结构，而是“局部高精度 elevation + contact/velocity latent + foothold-biased reward”的信息组织方式。
  • 2. 在 legged sim-to-real 中，perception representation alignment 往往比端到端大模型更关键。
  • 训练输入和部署输入同构，且语义正好对应控制变量，能显著降低迁移难度。
  • 3. 对 gap/beam 这类任务，mapping 是控制的一部分，不是独立前处理。

一句话总结

MARG 是一篇系统型工作：它把 privileged RL、局部 elevation mapping 和 foothold reward shaping 组合成一个可真机部署的单 LiDAR risky-terrain locomotion pipeline，真正贡献在于信息流和部署表征的对齐，而不是新的强化学习算法。