Science Robotics / Research Article

Real-world humanoid locomotion with reinforcement learning

作者：Ilija Radosavovic, Tete Xiao, Bike Zhang, Trevor Darrell, Jitendra Malik, Koushil Sreenath · 单位：University of California, Berkeley CA, USA · 来源：Science Robotics · 发布日期：2024-04-17 · DOI：10.1126/scirobotics.adi9579

移动机器人强化学习人形机器人机器人

精读笔记

Problem Setting

论文标题：Real-world humanoid locomotion with reinforcement learning（Science Robotics / 2024）。

这篇论文不是在解决“RL 能否让双足机器人走路”这个老问题，而是在解决一个更实际的 deployment 问题：全尺寸 humanoid 在真实户外、多种地面、未知载荷和突发扰动下，能否用一个纯学习控制器 zero-shot 落地。任务的困难点在于状态不可观测和接触不可预测：地形材料、坡度、摩擦、执行器延迟、脚部受阻、负载偏心等都不会作为显式输入给 policy，但它们会直接改变动力学响应。

以前 humanoid 控制的强项在于结构化模型、优化和人工设计约束；弱点是场景迁移成本高，很多 robustness 来自工程经验。学习式 legged locomotion 在四足上已经比较成熟，但 humanoid 更高维、更不稳定、机械结构更复杂，且 Digit 这种闭链/欠驱动结构对仿真精度要求更高。本文抓住的关键矛盾是：真实世界适应需要隐变量推断，但又不希望为每类隐变量写一个 estimator 或 controller mode。

Motivation

作者的动机不是单纯把 Transformer 套到控制上，而是认为 observation-action history 本身已经包含了足够多的环境信息。比如同样的动作在不同地面、坡度、载荷下会产生不同的速度误差、姿态响应、接触冲击和关节轨迹偏差；这些偏差就是隐含的系统辨识信号。

已有路线缺的是一种可扩展的“通用历史解释器”。LSTM 能记忆，但容量和可选择性有限；TCN/显式 adaptation module 往往把问题限定成估计某些环境参数；model-based controller 则需要把接触和动力学结构显式写进优化问题。作者的缺口判断是：如果要让 humanoid controller 像视觉/语言模型一样受益于数据和算力扩展，需要更通用的序列建模框架，而不是继续堆特化估计器。

Core Idea

论文的核心思想是：把 locomotion control 看成一个因果序列建模问题，让 policy 根据最近一段 observation-action context 预测下一步动作。这里的 context 不是辅助输入，而是 policy 做隐式 adaptation 的主要信息来源。Transformer 的 self-attention 允许模型动态选择历史中哪些时刻对当前控制最有用，例如一次脚被卡住后的姿态偏差、连续下坡导致的速度/高度变化、负载改变导致的摆臂效果变化等。

和 prior 的本质差异在于，本文没有显式定义“要适应什么”。RMA 类方法通常通过 latent estimator 学一个环境 embedding，再喂给 base policy；LSTM policy 把历史压缩进递归状态；本文则让 policy 直接在 tokenized history 上做条件控制。这引入的 inductive bias 是：控制相关的隐变量可以从轨迹上下文中被注意力机制抽取，而不需要人工命名。它的 scalable potential 也来自这里：更长 history、更多模态、更大模型理论上都可以直接接入同一序列接口。

Method

方法中值得保留的不是具体层数和超参数，而是三个机制。

第一，history-conditioned causal Transformer。它解决 POMDP 下的在线适应问题：当前 IMU/encoder 观测不足以判断地形和接触状态，但历史动作-响应关系能提供证据。核心变化是 policy 不再只是 reflex controller，而是带短时系统辨识能力的 closed-loop sequence model。

第二，teacher state policy 到 observation policy 的联合训练。全状态 teacher 降低了早期探索和 reward shaping 难度，给 student 一个可行行为 manifold；随后 RL loss 继续优化 observation policy，避免纯模仿受限于 state teacher。λ 退火的设计本质上是在从 behavior cloning prior 过渡到 task reward optimization。这个机制更像训练稳定化和 representation alignment，而不是最终能力的全部来源。

第三，大规模 domain randomization 和仿真链路。Isaac Gym 提供并行采样，随机化动力学、控制参数、延迟、噪声和地形；Agility 高保真仿真用于过滤不安全策略；真实机器人仅 zero-shot 部署。这个部分解决 sim-to-real，但也是论文中最 engineering-heavy 的部分。尤其 Digit 闭链机构在 Isaac Gym 中需要 virtual spring approximation，说明“纯学习”背后仍有相当多系统工程。

Key Insight / Why It Works

最重要的 insight 是：legged locomotion 的很多 adaptation 不需要显式语义理解，只需要从短时闭环误差中恢复足够的 latent dynamics。对于盲走 humanoid，地形/载荷/扰动最终都会表现为某种 proprioceptive residual；如果训练时随机化覆盖了这些 residual 的变化范围，policy 就可以学会把 residual 映射到补偿动作。Transformer 的作用是提高这种 residual-to-action 映射的容量和选择性。

我认为真正有效的核心贡献是“history as implicit system identification + scalable sequence model”，而不是“Transformer 产生了类 GPT 的推理”。所谓 in-context learning 在这里更像控制领域的在线隐状态估计/记忆检索：模型看到最近的响应模式后，从训练中学过的响应-补偿关系中取出合适行为。它不是在测试时学习新动力学，而是在固定权重下做条件化策略选择。

哪些部分可能只是辅助：teacher imitation 主要提升训练效率和稳定性；arm swing 的 emergent behavior 可能来自能量项、全身自由度和 reward shaping 的共同作用，不应过度解读为发现了人类步态原理；hidden state 可视化只支持相关性，不支持机制因果。哪些部分可能主要来自 scaling/data：鲁棒 outdoor zero-shot 很可能高度依赖 domain randomization 覆盖、仿真过滤、以及大量并行 RL，而 Transformer 是其中一个更强的函数逼近器。ablation 显示 Transformer 优于 MLP/TCN/LSTM，但增益来源仍可能混合了容量、优化稳定性和 context 使用方式，文中未充分说明。

Relation To Prior Work

这篇工作最接近三条线：sim-to-real domain randomization 的 legged RL、RMA/TCN 显式 adaptation、以及 LSTM-based biped locomotion。它不是从零发明新的 RL 框架，而是把这些路线重组到全尺寸 humanoid 上，并把 adaptation module 换成更通用的 Transformer history policy。

相对四足 RMA，本文少了显式环境参数估计，多了端到端 attention over history；这让表示更自由，但解释性更弱。相对 LSTM biped，Transformer 的新增信息在于非递归压缩的上下文访问：模型可以按内容选择历史片段，而不是把所有信息塞进一个 hidden state。相对 model-based humanoid controller，本文的区别是把接触模式、恢复策略和 gait 调节都交给数据学习；代价是缺乏可证明约束和安全边界。

实质创新在于将大规模 model-free RL + causal Transformer + real full-size humanoid zero-shot deployment 做成了一个可工作的系统，并用真实场景展示 blind proprioceptive adaptation。看似新的“in-context adaptation”概念，本质上是在线系统辨识/历史条件策略的现代 sequence-model 版本。

Dataset / Evaluation

评估覆盖了真实户外、室内扰动、粗糙地面、负载、坡地、高速行走、仿真对比和若干 ablation。对 robotics 论文而言，真实全尺寸 humanoid outdoor zero-shot 是强证据，尤其是无安全吊架、不同材料地面、真实负载和外力扰动。它确实支持“该系统可部署，并具有一定上下文适应能力”的 claim。

但 evaluation 对“general in-context learning”的支持有限。外部环境虽多样，但多数仍是局部 locomotion 场景；没有视觉、没有复杂障碍规划、没有长程任务。foot-trapping 和下坡步态变化很有说服力，但样本规模、失败分布和边界条件没有充分量化。仿真中与原厂 controller 比较有参考价值，但原厂 controller 的目标函数、安全策略和调参目标不同，不能简单视为公平 benchmark。总体上，实验很好地证明了工程系统强，但没有完全证明 architecture-level causal claim。

Limitation

最大限制是成立前提很重：需要足够好的仿真、覆盖足够广的 domain randomization、可承受的大规模 RL、以及可靠的底层 PD/状态估计接口。方法把一部分控制设计难题转移成了仿真建模和随机化分布设计问题。若真实环境产生的 history residual 超出训练覆盖，例如更复杂障碍、强冲击、湿滑到接触模型失效、长期负载变化或传感器异常，policy 未必能 extrapolate。

泛化更像局部动力学泛化，而不是任务级泛化。机器人是 blind 的，会撞障碍；恢复行为是反应式的，不是规划式的。所谓“适应”没有权重更新，也没有显式 belief state，只是在固定策略中根据 context 选择动作。它可能很实用，但不应被解释为具备长期推理或开放世界理解。

增益归因也不清晰。Transformer 优于其他架构，但文中没有充分排除参数量、训练稳定性、hyperparameter tuning、context encoding 差异的影响。teacher + RL、仿真过滤、randomization ranges、虚拟弹簧建模等工程因素对最终真机成功可能同样关键。另一个上限是安全性：没有形式化约束，极端外力下会摔，速度跟踪和左右对称性也存在问题。

Takeaway

  • 1. 对 real-world locomotion，history-conditioned policy 是比单帧 proprioception 更自然的默认建模方式；很多所谓 adaptation 可以通过 observation-action residual 解决。
  • 2. Transformer 在机器人控制中的价值未必是“推理”，而是可扩展的上下文访问机制。
  • 未来如果要融合视觉、触觉、语言指令或更长 horizon，统一 token interface 可能比手写 estimator 更有扩展性。
  • 3. 这篇真正推动的是 full-size humanoid learning controller 的系统可信度：证明了纯学习策略在真实户外 humanoid locomotion 上不再只是仿真或小平台结果。

一句话总结

这篇论文把 humanoid locomotion 从手工结构化控制进一步推向“大规模仿真训练的历史条件序列策略”，其真正贡献是证明 Transformer-style implicit system identification 可以在全尺寸真机 zero-shot 行走中形成可用的局部适应能力。