精读笔记

Problem Setting

论文解决的不是标准 velocity tracking，也不是实验室平地 locomotion，而是面向真实自然环境的 blind quadrupedal traversal：机器人只依赖关节编码器和 IMU，在未建模、不可精确感知、不可高保真仿真的地形上保持稳定前进。

真正困难点在接触层面。野外地形的几何和物理属性同时变化：脚可能陷入泥里、在湿滑表面打滑、被植被绊住、踩到会滚动的碎石或木板。外感知即便能给出几何，也很难给出摩擦、顺应性和接触后地形变化；而这些正是失稳的直接原因。控制器必须在几十毫秒尺度上从身体反馈中判断“发生了什么”，并调整全身运动。

以前方法卡在两个方向。传统 model-based / state-machine 系统依赖显式 contact/slip estimation、手写 reflex 和场景调参，复杂度随 corner case 爆炸；已有 model-free RL 多数只证明了平地或轻度纹理表面的 sim-to-real，缺少野外接触扰动下的可部署鲁棒性。这个任务的关键矛盾是：需要适应真实物理复杂性，但不能可靠测量它，也不能完整模拟它。

Motivation

作者反对的不是外感知本身，而是把野外 locomotion 的底层稳定性建立在外感知和显式地形建模之上。雪、水、植被、泥地会让 elevation mapping、LiDAR/camera traversability pipeline 在最需要的时候失效；同时，接触发生后的地形变化往往只能由机器人自身感受到。

核心观察是：本体感知历史包含了大量关于接触和地形物理的后验信息。脚被绊住、滑移、提前触地、支撑面移动，这些事件都会反映在关节误差、速度、基座姿态/速度和历史动作响应中。问题是传统控制器通常把这些信息压缩成若干人工阈值触发的事件，而不是让策略直接学习从时间序列中提取隐变量。

关键缺口因此是：如何在仿真中训练一个部署时只看本体信号的控制器，同时绕开直接 RL 在粗糙地形上探索困难和监督稀疏的问题。论文的答案是用仿真中的 privileged information 做训练支架，但部署时彻底移除它。

Core Idea

论文真正核心是把 rough-terrain locomotion 看成一个部分可观测控制问题，而不是一个需要显式建图或显式接触分类的问题。部署时的策略只接收本体历史，但训练时通过 privileged teacher 暴露地形高度、接触状态、接触力、摩擦、扰动等真值，让 teacher 先学出接触适应行为；student 再学习用本体时间序列恢复 teacher 所依赖的隐变量，并模仿其动作。

这个建模方式引入了一个很强的 inductive bias：真实世界中的复杂地形不必逐一仿真，只要它们在机器人本体信号中诱发的动态模式与训练中的刚性 rough terrains / 随机扰动有足够重叠，策略就可以通过历史匹配做出相似反应。换句话说，它泛化的对象不是地形外观或材料类别，而是接触事件的动力学后果。

与 prior 的本质区别在于信息流。传统方法是外部模块先估计 contact/slip/terrain，再由状态机或优化器决策；这里是策略端到端从本体历史中形成任务相关 latent，再直接调制步态与足端轨迹。相比直接端到端 RL，它又通过 teacher-student 和 curriculum 把学习难度拆开，避免让 student 同时解决探索、表示学习和粗糙地形控制。

Method

1. Privileged teacher：它解决的是粗糙地形 RL 探索失败和奖励稀疏问题。teacher 在仿真中看到真实地形和接触信息，等价于把 POMDP 暂时变成更接近 MDP，使策略能较快学到“遇到台阶/接触异常时如何改变足端轨迹”。核心变化是：把难学的隐变量估计从第一阶段拿掉，让 RL 先学控制行为。

2. Proprioceptive TCN student：它解决部署时 privileged information 不可用的问题。TCN 输入一段本体历史，而不是单帧状态；这使策略可以利用前腿接触事件影响后腿动作，也可以识别 foot trapping、滑移、外力扰动等时序模式。核心变化是：控制器本身成为隐式状态估计器。

3. Latent + action imitation：student 不只模仿 teacher action，还对齐 teacher 的 latent embedding。这个设计的意义在于让 student 学到 teacher 用于适应地形的中间表征，而不是只拟合动作表面。是否 latent loss 是决定性贡献文中有补充消融，但主文归因仍不完全充分；它更像 representation alignment 的正则化。

4. Adaptive terrain curriculum：它解决训练分布选择问题。随机采样粗糙地形会产生大量不可行 episode，导致早期失败和低信息量数据；只训练简单地形又没有鲁棒性。课程用 traversability 维持中等难度地形，使训练始终处于学习信号密度较高的区域。核心变化是把 terrain generation 从静态 domain randomization 变成闭环数据分布控制。

5. PMTG / foot trajectory prior：它不是论文最原创的部分，但很关键。策略不是直接输出 torque，而是调制周期相位、频率和足端位置 residual，再经 IK/PD 跟踪。这限制了动作空间，提供 trot-like locomotion prior，提高样本效率和 sim-to-real 稳定性。这里的增益很可能相当大，但容易被“RL 学会了”叙事掩盖。

Key Insight / Why It Works

最重要的 insight 是：在复杂自然地形中，很多看似需要外感知或精确物理建模的适应行为，其实可以由本体历史中的接触后果驱动。策略不需要知道“这是泥还是雪”，只需要感受到支撑不足、滑移、碰撞、提前/延迟触地等动力学模式，并触发相应的足端调整。这个视角解释了为什么只在刚性程序地形上训练，却能迁移到泥、雪、植被和碎石：迁移的不是地形模型，而是接触扰动到身体响应的映射。

最可能的核心贡献排序：第一是 proprioceptive memory + privileged distillation，把部分可观测 rough-terrain control 变成可学习问题；第二是 adaptive curriculum，保证训练数据处在有效难度区间；第三是 PMTG/IK/PD prior 和 actuator modeling，支撑 sim-to-real。单独说 TCN 架构未必不可替代，RNN 或 transformer-style history encoder 理论上也可行；关键不是卷积，而是长历史和稳定的时间表征。

这不是纯粹 scaling。训练规模和数据覆盖当然重要，但论文的主要增益来自 better inductive bias 和 representation alignment：teacher 提供隐含接触/地形表征，student 学会从本体历史恢复；curriculum 控制数据分布；PMTG 降低控制搜索空间。它也不是显式 reasoning，更像 learned state estimation + reactive control。所谓 foot-trapping reflex 是 emergent 的，但本质上是策略在历史中识别特定动力学模式后检索/插值出训练过的恢复动作。

需要警惕的归因：真实世界泛化可能并不说明策略理解了可变形材料，而是说明这些材料诱发的失败模式落在训练分布附近。比如泥地、雪地、植被都可以被策略看作滑移、阻力、支撑不稳或碰撞扰动的组合。这个泛化是有价值的，但不是 open-ended generalization。

评估中不存在典型 benchmark leakage，但存在 field robotics 常见的 evaluation bias：野外场景选择、速度较保守、人工操作命令、失败统计有限、baseline 不是同样学习范式的最强现代策略。论文 claim 的强度主要来自部署展示和消融一致性，而不是大规模受控统计。

Relation To Prior Work

这篇属于 sim-to-real RL locomotion、privileged learning、automatic curriculum、motion-prior-based policy 的交叉谱系。它继承了 Hwangbo et al. 2019 的 actuator modeling / sim-to-real recipe，继承了 domain randomization 的鲁棒性思想，也借用了 Learning by Cheating 的 teacher-student 框架和 PMTG 的 trajectory generator prior。

和传统 ANYmal model-based controller 的本质差异不是“有没有模型”，而是接触异常处理方式。传统系统显式估计 contact/slip，再通过状态机和 reflex 手工组织；本文把接触估计、reflex 选择和足端调整全部压进一个 history-conditioned policy。这样减少了人工枚举 corner case，但牺牲了可解释性和形式化安全保证。

和早期 RL locomotion 的区别在于 deployment domain 和 POMDP 处理。很多工作证明了平地/实验室环境下的 sim-to-real，这篇把问题推进到野外自然地形，并明确指出单帧 MLP 不足以处理接触历史。它的新意不在 TRPO、不在 TCN 本身，也不在 curriculum 单独概念，而在把这些机制组合成一个能真机落地的 blind rough-terrain locomotion pipeline。

实质创新是：用 privileged terrain/contact information 训练行为，再用 proprioceptive history distill 出可部署策略；并且证明简单刚性地形训练可以产生对复杂真实接触扰动的可用鲁棒性。看似新的部分中，PMTG、teacher-student、domain randomization、curriculum 都有前史；真正新增的信息是这些机制在四足野外 locomotion 上的耦合方式和实证效果。

Dataset / Evaluation

训练环境是程序生成的刚性地形，覆盖 hills、steps、stairs 等有限结构，并没有模拟泥、雪、植被、水流、可变形地面或动态碎石。这一点反而是论文 claim 的关键：如果训练只包含简单地形而真机能过复杂自然地形，说明策略学到的是较抽象的接触适应机制，而非地形类型记忆。

评估覆盖真实自然环境、DARPA SubT Urban Circuit、室内 loose debris、台阶、payload、滑移等场景，且部署在 ANYmal-B/C 两代硬件上。对 field robotics 来说，这是很强的 evidence：跨硬件、跨地形、zero-shot、无场景调参，确实支持“简单仿真训练可产生野外鲁棒 blind locomotion”的核心论点。

但 evaluation 也有明显边界。自然环境实验更接近 demonstration than benchmark；baseline 是当时 ANYmal 上强 model-based controller，但不是同等训练资源下的 learning baseline。失败率、长时间自主任务、极端地形边界、速度-稳定性 tradeoff 没有系统扫描。表格中的速度/COT 数字不是最关键证据，因为 baseline 失败时还被人工 reset，统计本身不完全公平；真正有价值的是 failure mode 对比和消融趋势。

消融比较可信地支持三个机制：memory 对台阶和扰动重要，privileged learning 对训练成功重要，adaptive curriculum 对粗糙地形学习重要。但消融没有完全回答 PMTG prior、网络容量、训练数据量、domain randomization 和 actuator model 各自贡献多少。

Limitation

第一，blind locomotion 的上限很硬。策略只能对已经通过身体接触暴露的信息做反应，不能提前避开悬崖、深坑、尖锐障碍或不可承受地形。它的安全性来自保守试探，而不是预测规划。

第二，所谓泛化依赖一个隐含前提：真实地形诱发的本体动态模式必须落在训练分布或其可插值邻域内。泥、雪、植被成功不等于策略理解材料，只说明这些扰动可被训练中刚性地形、摩擦变化、接触异常和外力扰动的组合近似。遇到更强非局部效应，例如深陷、缠绕、持续拖拽、脚底大面积粘附，泛化可能迅速崩溃。

第三，增益归因不完全清晰。文中证明 memory、privileged training、curriculum 有用，但最终性能还强依赖 PMTG gait prior、解析 IK、PD tracking、actuator model、ANYmal 硬件能力和较保守速度。可能有相当部分效果来自工程上对 action space 和低层控制的强约束，而不是神经策略本身的开放泛化能力。

第四，策略只表现出 trot gait，说明 learned behavior 被 motion prior、reward 和硬件动力学共同锁定在单一运动模式。它不是一个通用 locomotion skill library，也没有展示 gait diversity 或高速动态策略切换。

第五，teacher-student 把问题从部署感知转移到了仿真中 privileged representation 与 curriculum 设计。terrain parameterization 如果扩展到更复杂任务，粒子滤波式中等难度采样是否仍然有效文中未充分说明。课程本身可能成为新的人工设计瓶颈。

第六，内部表征可解码出地形/contact 信息很有意思，但不能过度解读。decoder 是离线分析工具，且从固定 policy embedding 中重建 privileged state，只能说明表征含有相关信息；不说明策略具备显式世界模型、长期规划或可组合推理。

Takeaway

• 1. 对 legged locomotion，底层鲁棒性可以优先建立在 proprioceptive memory 上，而不是把所有希望寄托在外感知地形图上；外感知更适合作为上层规划和风险预判，而不是唯一稳定性来源。
• 2. Privileged learning 是 sim-to-real locomotion 中非常强的范式：训练时用不可部署信息降低学习难度，部署时通过历史观测蒸馏出隐变量估计器。
• 这个思路可迁移到 manipulation、飞行、接触丰富任务等 POMDP 控制问题。
• 3. 复杂真实世界未必需要被逐项高保真仿真；如果能覆盖关键的动力学后果，策略可以对未建模材料表现出实用泛化。

一句话总结

这篇论文把四足野外运动从手工 contact/reflex 工程推进到“privileged training + proprioceptive memory + curriculum”的可部署学习范式，真正贡献是证明简单仿真中的接触扰动结构足以训练出对复杂真实地形有实用泛化的 blind locomotion controller。