Science Robotics / Research Article

Learning agile soccer skills for a bipedal robot with deep reinforcement learning

作者：Tuomas Haarnoja, Ben Moran, Guy Lever, Sandy H. Huang, Dhruva Tirumala, Jan Humplik, Markus Wulfmeier, Saran Tunyasuvunakool, Noah Y. Siegel, Roland Hafner, Michael Bloesch, Kristian Hartikainen, Arunkumar Byravan, Leonard Hasenclever, Yuval Tassa, Fereshteh Sadeghi, Nathan Batchelor, Federico Casarini, Stefano Saliceti, Charles Game, Neil Sreendra, Kushal Patel, Marlon Gwira, Andrea Huber, Nicole Hurley, Francesco Nori, Raia Hadsell, Nicolas Heess · 单位：Google DeepMind, London, UK, University College London, London, UK · 来源：Science Robotics · 发布日期：2024-04-10 · DOI：10.1126/scirobotics.adi8022

移动机器人强化学习微型机器人人形机器人安全

精读笔记

Problem Setting

论文标题：Learning agile soccer skills for a bipedal robot with deep reinforcement learning（Science Robotics / 2024）。

这篇论文的真实 problem setting 是：在一个低成本 miniature humanoid 上，用单一 neural policy 进行长时程、全身、接触丰富、多技能和对抗式任务控制，并且要求 zero-shot sim-to-real。足球只是一个合适的 stress test：它同时要求 locomotion、recovery、ball manipulation、opponent-conditioned behavior 和长期目标优化。

关键困难不是某个 primitive 难学，而是这些 primitive 的边界在任务中并不清晰。什么时候走、转、踢、挡、护球、恢复平衡，不能由一个简单状态机稳定覆盖；更重要的是，双足平台的稳定性约束和任务目标强耦合，动作选择同时影响短时生存和长期得分。

以前方法卡在两个极端：手工/模型控制可以稳定但行为空间窄，难以发现动态 pivot、run-up kick、context-dependent footwork；纯端到端 RL 理论上通用，但探索空间过大，在完整任务上容易学到滚地、站着不动等局部最优。本文处理的矛盾就是：如何给足够强的 inductive bias 让训练可行，同时不把最终行为锁死在人工设计的 skill decomposition 里。

Motivation

已有路线不够的地方很明确：RoboCup 系统擅长工程集成，但大量依赖 walk engine、脚本策略和人工战术；四足 RL 已经证明 sim-to-real locomotion 可行，但平台稳定性和任务结构都更容易；已有 humanoid RL 多是 walking/running/jumping/stair climbing 等孤立技能，缺少真实硬件上的长时程交互组合。

作者的核心观察是：对于 humanoid soccer，真正缺的不是更好的单一 walking controller，而是让全身控制策略在任务上下文中连续变形技能的机制。比如“防守时短步接近”和“追空球时大步冲刺”表面上都是 walking，但它们不应由同一个固定步态参数化控制器来表达。

因此论文选择了一个折中方向：不完全相信 sparse end-to-end RL，也不回到手工 hierarchy；而是用少量必要技能作为训练先验，再让最终 policy 在对抗任务中重新整合它们。这个动机是合理的，也是本文相对 prior 最值得注意的地方。

Core Idea

核心思想可以概括为：用最小技能先验约束搜索空间，用端到端 RL 释放技能边界。Stage 1 只预训练两个“如果没有就训练不动”的能力：get-up 和 basic soccer/scoring；Stage 2 把它们蒸馏到一个单一 policy，并在 self-play 中继续优化，让策略不再显式调用技能，而是在 joint position action space 中连续混合、修正和重组这些行为。

这和典型 hierarchical RL / RoboCup layered learning 的本质区别在于，技能不是最终架构的模块，而是优化过程中的行为 prior。最终 policy 没有手工 mode switch，也没有显式 high-level planner 调用 kick/walk/get-up；它学到的是一个从 proprioception + game state 到全身动作的闭环映射。这个 inductive bias 的好处是既避免从随机策略探索完整足球，又允许 emergent turning、run-up kick、防守 footwork 这类不在 skill library 中的行为出现。

直觉上它有效，是因为预训练技能把 policy 初始化到机器人动力学可行且相对安全的运动流形附近；self-play 迫使 policy 在更广的 game-state 分布上学习 value gradients；distillation 权重自适应衰减则避免“模仿老师”成为上限。它改变的是训练分布和策略搜索几何，而不是提出了新的 RL 算法。

Method

方法层面的必要机制如下。

1. 分阶段 skill prior：解决完整任务探索失败。没有 get-up prior，策略要同时发现从地面恢复、站稳、走向球、踢球和防守，奖励延迟过长；文中 ablation 显示会出现滚地进球或只站稳不动。这说明 skill pretraining 不是装饰，而是让问题可学的关键 curriculum。

2. KL-regularized distillation with adaptive release：解决“借用技能”和“超越技能”的冲突。若一直强模仿，最终只是 skill sequencing；若完全不模仿，探索崩掉。作者用基于 Q threshold 的 KL 权重，让策略差时靠近 teacher，足够好时回到 RL objective。这相当于一个可释放的 behavior prior。

3. Self-play opponent pool：解决 opponent-awareness 的状态分布问题。只打 untrained opponent 会学到单向进攻，不会学 blocking 或绕人。历史 snapshot pool 提供自动 curriculum，但作者也承认若采样所有 snapshots 会不稳定，因此这里仍是工程化的 self-play，而不是完整 game-theoretic 求解。

4. Targeted sim-to-real regularization：解决真实小人形机器人的脆弱性。domain randomization、随机外力、动作滤波、高频闭环、关节范围限制、膝关节冲击惩罚、upright reward 共同把策略推向鲁棒但不完全保守的运动。这里的重点不是 randomization 本身，而是只随机化少量高影响轴，避免策略过度保守。

5. 全状态 game observation：解决感知不确定性，使论文聚焦控制和策略组合。mocap 提供 ball/opponent/goal state，这降低了任务难度，也使 value function 能直接形成对球速、对手位置、防守线的结构化偏好。

Key Insight / Why It Works

最核心的有效性来源，我判断不是 DMPO，也不是网络结构，而是“minimal behavior prior + broad on-policy-like state coverage + robust sim training”的组合。

第一，skill prior 改变了探索拓扑。双足足球的失败模式非常坏：倒地、滚动、卡边界、自碰撞、站着不动都可能获得局部奖励或避免惩罚。get-up skill 和 soccer skill 把初始策略拉到可行动作流形，使 RL 不必从零发现基本物理可行性。这个贡献比表面上看更重要，因为它把一个稀疏长时程任务拆成“先学可达性，再学任务最优性”。

第二，最终 policy 的优势来自 skill boundary 的消失。脚本 controller 或 hierarchical skill policy 往往在 mode transition 处损失性能：走到球前停顿、转身再踢、倒地后进入恢复流程。本文的 single policy 可以在同一控制频率下边转边走、边接近边准备踢、边防守边调整步态。这解释了为什么行为看起来更 fluid，也解释了为什么 UMAP 中 learned gait 不是简单周期环，而是更丰富的连续 manifold。

第三，所谓“战术”更可能是 value landscape 的局部几何，而不是显式推理。blocking、绕开 opponent、短步防守都可以由 reward + self-play 产生的状态分布学习出来。value function 分析显示 critic 对 opponent between ball and goal、ball velocity toward goal 等变量有结构化响应，但这不等于长期规划。它更像 policy 在覆盖充分的局部状态空间上学到了可泛化的反应模式。

第四，sim-to-real 成功很大程度来自工程上正确的 bias。位置控制模式隐藏了部分执行器建模误差；动作滤波减少高频不可实现动作；扰动训练让策略学会闭环恢复；安全 reward 抑制膝关节破坏和过度前倾。文中未充分说明各项的独立贡献，但没有这些 targeted regularization，zero-shot transfer 直接失败。这里不是“RL 自然泛化到真实世界”，而是“在强工程约束下，RL 找到比脚本更激进但仍可部署的局部最优”。

第五，增益里有明显 scaling / data / tuning 成分。大量模拟交互、自博弈 snapshot、reward weight search、真实机器人维护、系统辨识和随机化轴选择都在贡献。论文的 insight 可迁移，但不是一个即插即用算法。若没有 DeepMind 级别的训练基础设施和实验迭代，复现同等质量行为可能不容易。

Relation To Prior Work

这篇论文处在几条技术谱系的交汇处：sim-to-real legged RL、DeepMind simulated humanoid football、RoboCup layered learning、behavior prior / policy distillation、多智能体 self-play。

和四足 locomotion RL 相比，本文的新增点不是 domain randomization，而是在更不稳定的双足平台上做长时程、多行为、对象交互和对抗上下文。四足 soccer/dribbling/shooting 工作通常技能范围更窄，平台稳定性更强；本文展示了在 humanoid 上端到端融合技能的价值。

和 RoboCup 相比，本文牺牲了完整感知、规则复杂性和团队战术，换来了更底层的全身控制学习。RoboCup 的强项是系统工程和策略层，本文的强项是 motor-control-to-tactics 的连续优化。它不是 RoboCup 的完整替代，因为 mocap 全状态和简化规则使任务难度低很多。

和 prior simulated humanoid football（如 DeepMind 2022 Sci Robotics）相比，本文的重要新增信息是真实小型双足机器人上的 zero-shot deployment。方法思想上延续了 skill reuse、distillation 和 self-play，并非全新；实质创新在于把这些机制压到真实低成本 humanoid 的安全约束和 sim-to-real pipeline 中，并证明 end-to-end full-body policy 可以超过脚本控制器。

看似新的 emergent behavior，本质上更多是已有思想的重组后在真实硬件上的显性收益；真正有价值的不是算法 novelty，而是证明了“最小先验 + 端到端重优化”在真实 humanoid 长时程任务中可行。

Dataset / Evaluation

评估覆盖了真实 OP3 机器人上的 1v1 简化足球、若干 isolated behavior 对比、set pieces、sim-to-real gap 分析、opponent-awareness 和 value function probing。它足以支持一个中等强度 claim：在该受控设置下，learned policy 比脚本 baseline 更 agile、更 fluid，并能表现出上下文相关行为。

但 evaluation 不能支持更强的 claim：通用 humanoid soccer intelligence、强泛化、多场景鲁棒性或真实视觉闭环。场地固定，机器人固定，规则简化，观测依赖 mocap，全状态信息直接输入 policy；这使得结果主要验证 control learning 和 skill composition，而不是完整 embodied perception-action intelligence。

baseline 是 OP3 scripted controllers，经 real-robot grid search 调参，作为工程 baseline 合理，但不是最强的现代 model-based humanoid controller 或高水平 RoboCup stack。数字提升说明 learned dynamic gait 更激进，但部分来自 baseline 保守性。与模拟 OP3 参数化 controller 的比较也不完全可比。

set pieces 是论文中更有诊断价值的评估，因为它们验证了 policy 对 opponent position 和 ball state 的条件反应。不过样本数较小，且很多现象是 qualitative/controlled probing。文中未充分说明这些 set pieces 与训练分布的重叠程度，因此不能排除行为主要来自训练中类似状态覆盖。

Limitation

最大限制是观测假设：mocap 提供 ball、opponent、goal 和自身全局状态，绕开了机器人足球中最难的视觉、遮挡、延迟和状态估计问题。作者提到 raw vision 是未来方向，并有初步结果，但主结果不是 onboard perception。

第二，方法不是低工程依赖。reward shaping、skill key pose、action range、安全项、domain randomization 轴、系统辨识、扰动强度、自博弈采样策略都需要人工选择。尤其 get-up skill 依赖 hand-designed key poses；这说明方法把一部分困难从最终策略设计转移到了训练先验和安全约束设计。

第三，scaling 到更多智能体并不显然。作者初步 2v2 看到 division of labor 但 agile behaviors 变少，说明 self-play 扩展后探索和信用分配会再次成为瓶颈。当前方法没有显式通信、角色分配或长期 team strategy 表征。

第四，所谓泛化主要是状态插值。policy 在同一球场、同一动力学随机化范围内对不同 opponent/ball configurations 反应良好，但没有证据表明能跨地面材质、机器人磨损程度、球类型、场地尺度或规则变化稳定泛化。

第五，安全上限有限。膝关节冲击惩罚和 upright reward 是软约束，不是形式化安全保证。真实机器人仍需要频繁维护，电池电量影响行为，控制 loop 有时无法按 25 ms 输出动作。这些说明 deployment margin 并不大。

第六，长期规划可能是假象。策略和 critic 是 reactive/feed-forward 加有限 observation stack；game behavior 更像在 self-play 训练分布上学到的局部反应，而不是形成可组合的 symbolic/tactical planning。

Takeaway

  • 1. 对真实 humanoid 长时程任务，最有效的路线可能不是纯 end-to-end，也不是手工 hierarchy，而是“技能作为训练先验，最终 policy 端到端化”。
  • 这个思想可迁移到 manipulation、mobile manipulation、fall recovery + navigation 等任务。
  • 2. Skill prior 的价值在于改变搜索空间，不在于提供最终模块。
  • 未来如果能自动发现/选择 skill prior，而不是人工决定 get-up/soccer，就会更 scalable。

一句话总结

这篇论文是 sim-to-real humanoid RL 从单技能控制走向真实长时程交互任务的一次强工程化推进，真正贡献在于证明“最小行为先验 + 端到端重优化 + targeted robustness training”能在低成本双足机器人上产生比脚本系统更敏捷的连续技能组合。