精读笔记

Problem Setting

《Learning robust perceptive locomotion for quadrupedal robots in the wild》（Science Robotics / 2022）

这篇论文解决的不是一般意义上的“视觉辅助四足行走”，而是一个更尖锐的问题：在野外，外感知经常不是 noisy measurement，而是 adversarially misleading measurement；控制器如何在这种输入下仍然敢用视觉获得前瞻性，同时不因为视觉错误而摔倒。

真正困难点在于 locomotion control 对感知错误极端敏感。高度图中的一个假台阶、假坑、缺失区域、由里程计漂移造成的地形错位，都会直接改变落脚、摆腿高度和身体姿态。传统 planning 系统通常把地图当作近似真实世界，只在 map uncertainty 上做启发式避障；这在实验室可行，但在雪、草、反光、水、软地面和遮挡里，错误不是高斯噪声，而是结构性错误。

以前方法卡住的地方是：纯本体感知 RL 很鲁棒，但必须先撞到/踩到障碍才知道地形，速度和越障高度受限；基于外感知的 foothold/trajectory optimization 有前瞻性，但默认地图可信，一旦地图错，规划得越精细越危险。本文的关键矛盾就是 speed from foresight vs robustness from touch。

Motivation

作者的动机不是简单给 RL policy 加 depth input，而是识别到已有路线缺一个“感知可信度调度”的机制。野外 locomotion 中，视觉有时提供强先验：楼梯、台阶、石块需要提前抬腿和调整身体；但视觉有时完全不可信：雪表面高度不等于可支撑高度，草丛和树枝在 2.5D map 中像障碍，透明/反光表面会消失或产生假坑。

因此缺口不是 terrain representation，也不是更快的 foothold planner，而是：控制器需要把外感知作为 partial evidence，与本体感知、接触历史、动态响应共同形成 belief。这个 belief 需要能在视觉可靠时利用视觉，在视觉失败时退化到 blind locomotion，并且这种切换不能靠人工规则，因为 failure mode 太多、边界太模糊。

这也是为什么作者选择 privileged learning + recurrent encoder：用全信息 teacher 定义“如果知道真实地形应该怎么走”，再让 student 从可获得且损坏的观测中恢复足够的控制相关状态。核心缺的是 representation alignment，而不是又一个 planner。

Core Idea

论文真正的核心思想是：把 perceptive locomotion 从“基于地图做控制”改成“基于多模态历史估计一个控制相关 belief”。外感知不再被当成状态本身，而是一个可能正确、可能缺失、可能误导的观测源；本体感知和接触反馈提供对外感知的在线校正。这个建模方式比传统 map-conditioned control 更接近 POMDP 下的 belief control。

它引入的关键 inductive bias 是两层的。第一，teacher-student privileged learning 强制 student 的 latent belief 对齐到 teacher 使用的真实地形和隐变量，而不是只通过 sparse locomotion reward 自己摸索；这显著降低了学习难度。第二，recurrent + gated exteroception 让策略在时间上复用过去接触信息，并显式控制外感知特征的通过量。直觉上，这使 policy 学到一种 soft sensor arbitration：视觉可信时做 anticipatory gait，视觉不可信时靠 proprioception 和记忆闭环。

和 prior 的本质区别在于，它不是把视觉用于显式 foothold cost，也不是把视觉直接 concatenate 到 policy 输入，而是把视觉纳入一个可退化的 belief estimation 过程。这个改变使系统更 scalable：不同 depth sensor 只要能产出 elevation map，就能进入同一抽象；不同 failure mode 通过噪声模型和训练覆盖进入同一融合机制。

Method

1. Privileged teacher：解决的是“如何得到高质量行为监督”。teacher 在仿真中看到真实地形、摩擦、接触、扰动等 privileged 信息，用 RL 学会在各种地形上跟踪速度命令。必要性在于，直接训练一个只看损坏感知的 recurrent policy，会同时面对 POMDP、稀疏失败、sim-to-real 和多模态融合，优化难度太高。teacher 把控制问题先变成全信息 MDP。

2. Student belief distillation：解决的是“真实机器人没有 privileged state”。student 只看本体感知和噪声化高度采样，通过 behavior cloning 模仿 teacher，同时通过 reconstruction loss 恢复真实高度/privileged 信息。核心变化是把 latent state 训练成控制相关的环境估计，而不是一个任意 black-box hidden state。

3. 结构化外感知破坏：解决的是“野外 map failure 不等于小噪声”。训练中注入点级噪声、足端局部偏置、episode-level offset、大片缺失/大噪声等，模拟遮挡、位姿漂移、软地面、传感器失败。这个机制很关键，因为 robustness 主要来自 policy 在训练时见过类似错误分布。

4. Recurrent gated fusion：解决的是“外感知什么时候该信”。GRU 保留历史接触与观测，gate/attention 控制 exteroceptive latent 对最终 belief 的贡献。它带来的变化不是更强网络，而是允许策略表达一种连续的 fallback：从完全视觉前瞻，到部分相信，到几乎 blind。

5. Elevation map abstraction：解决的是 sensor dependency。高度图作为中间层让 policy 可在 LiDAR 和 stereo 间迁移。但这也是一个工程折中：它牺牲 raw sensor 中可能包含的材质、纹理和不确定性细节，换取部署稳定性和接口统一。

Key Insight / Why It Works

这篇最重要的 insight 是：鲁棒 perceptive locomotion 的核心不是更准确的 perception，而是控制器要学会在 perception 不准时仍然稳定。也就是说，系统优化目标不是 map reconstruction fidelity，而是 action robustness under perceptual corruption。

真正有效的部分很可能是三者叠加：privileged representation alignment、噪声覆盖、recurrent memory。teacher 提供了一个“全信息下应该怎么动”的行为流形；student 不需要从 reward 中重新发现这些动作，只要学习在损坏观测下投影到这个行为流形。噪声 curriculum 让 student 见过外感知失效时仍应执行的动作。recurrent memory 让它能用接触后的信息修正之前的视觉估计，例如透明障碍、软障碍、被遮挡楼梯。

attention/gate 是合理的 inductive bias，但其独立贡献文中没有充分说明。很可能主要增益来自训练分布设计和 teacher-student distillation，而不是 gate 本身。文中提到 supplement 有 gate ablation，但主文证据不足以证明 gate 是不可替代核心。一个普通 recurrent encoder 加强噪声 randomization 可能已经能获得相当多能力。

这里的“planning”也要谨慎理解。policy 并没有显式长期规划或 foothold search；它更像学到了短时地形-conditioned motor primitives 的 retrieval/interpolation。看到台阶就提前抬腿和前倾，看到高度图缺失就降级为 blind gait，这种能力很强，但不是符号意义上的 reasoning。所谓 belief state 更像控制相关 latent structure，而非可校准概率 belief。

工程/scaling 成分也很重：随机地形、楼梯类型、domain randomization、actuator model、GPU elevation mapping、ANYmal-C 硬件、长期调参都在贡献结果。论文的价值不在于单个算法模块新，而在于把这些机制组织成一个能真机野外工作的闭环系统。

Relation To Prior Work

它最接近的谱系有两条：一条是 ETH/RSL 系列 sim-to-real RL locomotion，包括 Hwangbo et al. 的 actuator model、Lee et al. 的 blind rough-terrain locomotion 和 privileged training；另一条是 perceptive locomotion / foothold planning，用 elevation map 做落脚和轨迹优化。

相对 blind RL，本文新增的信息是 exteroceptive foresight，并通过 belief fusion 保持原有 proprioceptive robustness。它不是推翻 blind policy，而是在 blind policy 的鲁棒底座上增加一个可关闭的视觉通道。

相对 model-based perceptive locomotion，本文的不同点是把“地图可信度处理”从手写规则迁移到 learned latent。传统方法通常把不确定性显式编码到 map 中，再用 heuristic 避开高风险区域；本文直接训练 policy 在各种 map corruption 下输出动作，不要求 uncertainty model 完整或准确。

相对一般 multimodal learning，本文的新意不是 gate 或 GRU，而是把多模态融合放在高频 legged control 的 POMDP 中，并用 privileged teacher 让 latent 对齐到真实物理隐变量。看似新的一些组件其实是已有思想重组：learning by cheating、domain randomization、RNN belief、gated fusion、elevation map。但实质创新在系统层：让这些组件共同服务于“视觉可用则快，视觉失效则不死”的控制目标。

Dataset / Evaluation

评估强项是真机和场景覆盖。论文不只做实验室障碍，还展示了 alpine、forest、underground、urban、snow、stairs、fog、water、slippery surface 等跨季节部署，并包含一次较长 hiking route。对 robotics 论文而言，这种真实部署证据很有分量，尤其核心 claim 本来就是 in-the-wild robustness。

controlled experiments 基本验证了外感知贡献：比 proprioceptive baseline 更能越高台阶、更快通过障碍课程、速度更高；透明障碍、泡沫障碍、遮挡传感器、滑面等测试也支持“belief 会用接触修正视觉、视觉失效时退化”的说法。

但 evaluation 的归因仍有限。baseline 是前作 proprioceptive controller，不一定完全控制了训练规模、动作空间、reward、terrain curriculum、硬件调参和部署 pipeline 的差异。文中没有足够系统地拆分：exteroception、recurrent memory、gate、reconstruction loss、噪声模型、mapping pipeline 各自贡献多少。因此“外感知融合机制”带来的增益和“更大系统工程/训练覆盖”带来的增益混在一起。

此外，野外部署虽强，但不是标准化 benchmark；场景选择、速度命令、人类干预边界、失败统计口径都难以复现。它很好地支持工程可行性和实际鲁棒性，但不能完全证明泛化能力已经解决。

Limitation

第一，方法强依赖训练分布。它能处理 snow/grass/reflective/occlusion 等，是因为训练中显式模拟了大噪声、偏置、缺失和地形变化。若出现训练噪声模型没覆盖的系统性错误，belief 可能仍会错误自信。核心能力可能主要来自数据覆盖，而不是泛化推理。

第二，没有显式 uncertainty。policy 隐式学习何时相信视觉，但没有输出可校准的不确定性，也没有 risk-aware 行为选择。作者自己也指出 cliff/stepping stone 场景中，map 缺失可能被当成连续地面，导致踩空。这说明 belief 不是完整的世界模型，只是局部控制 latent。

第三，elevation map 把问题转移了一部分给 mapping pipeline。它使 policy sensor-agnostic，但 map construction 依赖位姿估计和 2.5D 假设；overhang、树枝、软地面、透明物体、低矮洞穴等本质上无法被该表示充分表达。鲁棒性是 policy 对 map failure 的容忍，不是 map failure 被解决。

第四，长期规划能力基本缺席。策略以局部高度采样和速度命令为输入，适合连续行走和短时越障；对需要选择 foothold sequence、探测未知支撑、绕开不可通行结构、从腿卡住/高 ledge 中恢复等任务，它没有明确机制。

第五，增益来源不清。文中主张 attention-based recurrent encoder 是关键，但很可能 reconstruction loss + heavy randomization + teacher distillation 已解释大部分效果。gate 是优雅结构，但不是被主文充分证明的必要条件。

Takeaway

• 1. 对野外机器人来说，感知不必先被做准再交给控制；更现实的路线是让控制器学习在感知损坏下行动，并把感知视为可疑 evidence。
• 2. Privileged teacher-student 是 legged locomotion 中非常有效的结构：teacher 解决全信息控制，student 学 belief；这比直接端到端 RL 更可控，也更容易把隐变量监督注入 latent。
• 3. 这篇真正推动的是“可退化的外感知控制”：不是追求 always perceptive，而是 reliable when blind, faster when seeing。
• 这个设计原则可迁移到 manipulation、mobile navigation、aerial robotics 等所有传感器会失效的 embodied control。

一句话总结

这篇论文是 sim-to-real legged RL 从 blind robustness 走向 robust perceptive locomotion 的关键系统化工作：核心贡献不是单个网络模块，而是用 privileged belief distillation 和感知破坏训练实现“有视觉时快、没视觉时不摔”的可退化多模态控制。