精读笔记

Problem Setting

这篇论文的真实问题不是“用 RL 训练四足机器人走路”，而是：在一个真实、复杂、带 SEA 的中型四足平台上，如何让仿真训练出的动态控制策略直接落地，并且在敏捷性、能耗和鲁棒性上超过手工控制器。

真正困难点在于 reality gap 的主要来源并不是刚体动力学本身，而是执行器链路：SEA 弹性、低层级联控制、通信和软件延迟、阻尼/摩擦、不可观测内部状态共同决定了命令到力矩的实际响应。对于动态腿式机器人，这些误差会被接触和欠驱动放大，导致仿真里稳定的 gait 到真机上立刻震荡或摔倒。

以前的方法卡在两个方向：模型控制为了在线可解必须做抽象，牺牲了执行器和接触细节；仿真 RL 虽能发现复杂策略，但没有足够可信的 sim-to-real 桥接。关键矛盾是：高性能需要高保真、低层级的动力学闭环；但在线高保真优化不可承受，解析建模又难以覆盖真实执行器。

Motivation

作者对已有路线的判断很明确：模块化控制和轨迹优化不是没有效果，而是它们的建模抽象决定了上限。把机器人抽象成质点、预设接触序列、分离 planner/tracker，都会在高速运动、快速转向、极限关节速度、跌倒恢复这类任务中暴露问题。控制器的多个模块也不会自动适配彼此误差，最后只能依赖大量低层调参。

RL 的吸引力在于它可以把感知状态到低层命令的闭环策略整体优化，不必显式指定 gait、接触时序和恢复动作。但缺口是：真实机器人训练成本和风险不可接受；纯仿真策略又被执行器/延迟误差击穿。

这篇论文的动机不是追求更复杂的 RL 算法，而是补上“仿真是否足够像真机”这个工程-建模缺口。核心观察是：刚体和硬接触可以用已有物理模型高效模拟；真正需要数据驱动的是 actuator/software dynamics。

Core Idea

论文的核心思想是混合仿真建模：把机器人系统拆成两类动力学。一类是结构清晰、物理先验强、可用解析模型高效模拟的部分，即多刚体和硬接触；另一类是难以解析、内部状态不可观测、但可以从真实数据监督学习的部分，即命令到关节力矩的执行器闭环响应。然后在这个 hybrid simulator 中训练策略，而不是在简化模型或纯黑箱模型中训练。

这个设计改变了 sim-to-real 的建模方式：不是用 domain randomization 粗暴覆盖所有误差，也不是试图解析建模整个 SEA 和控制栈，而是把最影响迁移、同时最容易通过日志监督拟合的子系统单独学习。这个 inductive bias 很强：策略学习看到的是接近真实低层执行器响应的动力学，同时仍保留刚体接触物理的可泛化结构。

和 prior 的本质区别在于，它没有把学习仅作为 policy optimizer，也没有把仿真 fidelity 完全交给人工系统辨识；它把 learning 用在 reality gap 的关键瓶颈处。RL 在这里更像是在一个被重新校准过的信息流上做 policy search，而不是单独贡献全部智能。

Method

关键机制可以压缩成四点。

第一，actuator net 解决的是执行器闭环不可解析建模问题。它输入关节位置误差和速度历史，输出关节力矩，相当于学习从高层 joint target 到真实 torque 的短时动态映射。必要性在于 SEA 和底层控制链路有延迟、带宽限制和隐状态；如果用理想执行器，策略会学到真机无法实现的高频动作。

第二，解析刚体/硬接触仿真解决的是结构性物理泛化问题。作者没有学习全系统动力学，因为那会丢掉多体约束和接触几何的强先验，也会需要更多数据。这里的核心变化是把数据驱动模型限制在执行器局部，使整体仿真既快又有物理结构。

第三，policy 输出低阻抗 joint position target，而不是直接 torque 或脚端轨迹。这不是普通 position control 的复用，因为策略是 state-indexed 的闭环函数，而不是 time-indexed reference tracking。它让学习初期更稳定，也让策略通过位置误差间接生成接触力和冲量。

第四，随机化、噪声和 curriculum 不是装饰。随机化让策略不要过拟合单一 CAD 模型；速度噪声匹配真机观测；curriculum 解决 locomotion reward 中“站着不动”这个强局部最优。它们共同把策略从仿真最优推向可部署的保守动态策略。

Key Insight / Why It Works

最核心的有效性来源不是 TRPO，也不是 MLP policy，而是 representation alignment：训练环境中 action 的后果被 actuator net 对齐到了真实机器人。腿式机器人策略对相位、接触和力矩响应高度敏感；一旦执行器延迟和带宽错位，policy learned dynamics 会完全失效。文中的 ablation 很强：理想执行器和手工解析执行器训练出的策略真机直接失败，基本说明 actuator dynamics 是迁移成败的主因。

第二个关键是问题分解得很克制。作者没有让神经网络学习所有动力学，而是只学习最脏的 actuator 子模块。这个选择比“更大网络/更多随机化”更重要，因为它保留了刚体接触的物理结构，同时避免人工 SEA 模型的高维参数调节。这是比 naive sim-to-real 更好的 inductive bias。

第三，position target action space 是实际贡献之一。它给 policy 一个低层阻抗包络，减少随机策略早期摔倒和高频 torque 抖动，同时不限制最终动态能力，因为输出仍是状态反馈而非固定轨迹。这里的收益容易被低估；它不是简单工程选择，而是在 learning stability 和 real-world safety 之间做了很有效的参数化。

第四，性能提升有一部分可能主要来自 scaling / data coverage：高速策略能利用硬件极限，是因为离线仿真允许大量试错；跌倒恢复能成功，也与复杂初始化分布和接触仿真覆盖有关。这里不应解读为策略具有强抽象 planning 能力。恢复行为更像是在训练分布覆盖的接触状态中学到一组动态反馈模式，而非显式长期规划。

第五，curriculum、随机化、噪声注入是必要辅助，但不是最本质创新。它们让训练可收敛、真机可忍受；真正把系统从“仿真好看”推到“真机可用”的，是 actuator net + fast physical simulator 的组合。

Relation To Prior Work

最接近的谱系是 sim-to-real RL for locomotion，尤其是 Tan et al. 在 Minitaur 上用解析 actuator model + dynamics randomization 的路线。区别在于本论文面对的是更复杂、更大、更动态且带 SEA 的 ANYmal，解析执行器模型不再可行，因此用监督学习 actuator net 替代手工模型。这是实质创新，而不是简单换平台。

相对模块化腿式控制，区别不是“是否用神经网络”，而是控制架构的信息流不同。模块化控制把问题拆成 foothold、轨迹、tracking 等人工语义层，每层都引入抽象误差；本文让策略直接从状态到关节命令，gait 和接触时序成为优化结果。这带来更高性能，但牺牲了可解释性和显式约束保证。

相对 trajectory optimization，本文把计算从 test-time 移到 train-time。在线优化方法在执行时保持规划能力，但受算力和模型抽象限制；本文部署时只是网络前向，几乎没有在线 search。它属于 amortized control / learned feedback policy 的方向：用大量离线仿真把控制律摊销到网络参数中。

很多看似新颖的组件其实是已有思想重组：domain randomization、observation noise、curriculum、MLP policy、TRPO 都不是新算法。真正新增的信息是：在复杂 SEA 四足上，学习局部 actuator dynamics 足以显著缩小 reality gap，并支撑高性能真机策略。

Dataset / Evaluation

评估覆盖了三类有代表性的真机任务：命令条件 locomotion、高速 locomotion、跌倒恢复。它不是纯 benchmark，而是真实机器人部署，因此对核心 claim 的支持比仿真论文强得多。尤其是同平台与已有控制器比较，使结论更有说服力：提升不是来自硬件差异。

任务覆盖范围仍然有限。环境基本是已知/简单地面，没有系统验证复杂地形、感知输入、障碍物交互或长程导航。所谓泛化主要是 command distribution、硬件小变化、质量/惯量随机化范围内的鲁棒性，而不是跨环境泛化。

ablation 做得最关键的是 actuator modeling：理想模型和解析模型失败，直接验证了作者关于 reality gap 来源的判断。但其他归因不足，例如 curriculum、action space、randomization、history length 对最终真机性能的独立贡献没有充分拆开。增益来源中哪些来自学习框架，哪些来自大量仿真和调 reward，文中未充分说明。

跌倒恢复实验很有价值，因为它挑战了传统轨迹优化和模块化方法不擅长的未指定内外接触。但样本规模较小，initial pose 虽然看起来复杂，是否覆盖真实摔倒分布仍不清楚。

Limitation

第一，方法把一部分真实机器人调参转移到了仿真 reward engineering、初始状态分布设计和 actuator data collection。作者承认 locomotion 约两天、recovery 约一周；这不是完全自动化，只是调参地点从真机搬到仿真。

第二，泛化边界由训练分布决定。command-conditioned policy 能在采样范围内稳定，但单个网络不能自然覆盖多个任务；作者也观察到单网络行为单面化。这里没有形成通用 motor intelligence，更像是每个任务摊销出一个专用反馈控制器。

第三，actuator net 的前提较强：执行器近似独立、关节力矩可测、短历史足以估计隐状态。对液压共享 accumulator、强耦合驱动、严重热效应或电池电压变化的系统，这个假设可能失效。文中未充分说明这类系统如何扩展。

第四，长期规划能力基本不存在。policy 是 reactive feedback，虽然能表现出动态恢复，但这不等于学到了显式 contact planning。恢复成功可能主要来自训练初始化分布覆盖和反馈模式 retrieval。

第五，安全和约束没有形式保证。策略可在硬件极限附近运行，但这依赖训练中惩罚和随机化，而不是可验证约束满足。对于更危险的人机共处或昂贵硬件场景，这仍是部署风险。

第六，仿真接触模型虽然高效，但复杂真实接触、软地面、滑移、地形不确定性并未充分验证。论文声称方法不局限于简单环境，但实验尚未证明这一点。

Takeaway

• 1. sim-to-real 的关键不一定是更强 RL，而是找到 reality gap 的主导误差源；在这篇里，主导源是 actuator/software dynamics。
• 2. 最可迁移的 insight 是 hybrid modeling：能解析的物理结构不要黑箱学，难解析但可记录的数据链路用监督学习补齐。
• 这比纯 domain randomization 更有样本效率，也比全解析系统辨识更现实。
• 3. 对真实机器人 RL，action parameterization 是算法的一部分。

一句话总结

这篇论文是腿式机器人 sim-to-real RL 从仿真演示走向复杂真机高性能控制的关键节点，其真正贡献不是新 RL 算法，而是用学习到的执行器模型重构仿真保真度，并把动态控制能力摊销进可实时部署的反馈策略。