精读笔记

Problem Setting

DRL训练的四足 locomotion 控制器在面对外部冲量、牵引或地形扰动时，往往表现出过度的刚性响应。根本矛盾在于：标准RL的奖励函数在episode内始终保持不变，策略被激励在任何时刻都精确跟踪速度指令，即使在被推瞬间也不例外。这导致策略倾向于用最大力矩抵抗扰动，产生高频抖动、大能量消耗和不安全的交互力。问题的难点不在于"如何跟踪"，而在于"如何在跟踪与顺应之间自动切换"，且这种切换不能依赖外部力传感器（真实机器人通常缺乏全身力感知）。

Motivation

已有工作通过降低PD增益或使用低频控制来减少刚性，但这会牺牲动态性能。Lee et al.在动画领域展示了基于力测量的柔顺控制，但机器人硬件难以获取全身交互力。作者的核心观察是：RL策略的僵硬并非必然来自高增益，而是来自奖励结构的"时间不变性"——策略从未被允许"暂时做不好任务"。关键缺口是一种训练机制，能告诉策略"被扰动时，先别管指令，活下来再说"。这本质上是在模仿生物体的反射-恢复层级：扰动初期先顺从，再逐渐回归任务。

Core Idea

核心思想是在训练回合中人为注入一个"任务目标松弛"阶段。具体而言，当随机扰动施加后，进入一个为期1秒的恢复阶段，在此期间速度/姿态跟踪奖励被替换为常数（相当于移除跟踪压力）。这使得策略优化目标从"立即纠错"转变为"以最低能耗平稳过渡"。直觉上，这相当于给策略提供了一个"弹簧-阻尼"行为的优化空间：由于没有立即回到指令轨迹的惩罚，策略可以允许自身被推动、储存/耗散扰动能量，而非刚性反弹。这与prior的本质区别在于：不是修改底层控制器（如阻抗控制），也不是修改网络结构，而是通过时间维度的奖励重组（temporal reward composition）来诱导高层行为策略的切换。这种方法极具扩展性，因为它几乎不增加计算开销，且可与任何标准RL算法或模仿学习框架叠加。

Method

关键机制有三： 1) **时间分层的奖励屏蔽**：将episode切分为行走-恢复-后恢复三阶段，仅在恢复阶段屏蔽跟踪奖励。这解决了"扰动时目标冲突"问题——无需手动设计阻抗参数，让RL自己发现最节能的过渡姿态。 2) **历史依赖的扰动隐式估计**：观察空间包含前后两步状态与上一步动作，构成POMDP。这解决了无外部力传感器时的扰动检测问题，策略通过本体感受残差隐式推断"我被推了"。 3) **自适应课程**：早期不施加扰动，待行走奖励达标后再引入恢复阶段。这防止了策略因过早面对困难扰动而陷入保守的局部最优（如僵硬地缩成一团）。

Key Insight / Why It Works

方法真正有效的根源不是网络学到了什么神秘表示，而是**奖励结构在时间上的非对称松弛**。标准RL将扰动后的每一帧都视为需要严格跟踪的"正常帧"，而本文将扰动后1秒标记为"特许恢复期"，这实质上是一种强归纳偏置（inductive bias），强制策略探索非对抗性的恢复轨迹。需要冷静判断的是：push recovery成功率提升很小（5%），说明**核心鲁棒性主要来自大规模并行PPO训练和数据覆盖**，而非柔顺机制本身。柔顺机制的真正贡献在于**重新分配了优化目标的优先级**：在扰动初期放宽跟踪约束，使策略进入更低能耗的吸引域（basin of attraction）。辅助因素包括低PD增益（Kp=40）和动力学随机化，它们为sim-to-real提供了基础，但也意味着柔顺性部分来自硬件和控制器的宽松设定。

Relation To Prior Work

与Lee et al. [7]（SIGGRAPH 2022）最相关，后者同样追求深度柔顺控制，但依赖精确的交互力反馈，仅适用于仿真角色。本文的核心进步是**完全脱离力传感器，仅通过proprioception和奖励重塑实现硬件可部署的柔顺性**。与Margolis & Agrawal [8]、Gangapurwala et al. [10]等强调"低增益/低频"的工作不同，本文不修改控制频率或PD参数，而是通过RL的高层决策生成柔顺行为。这属于**"奖励工程（reward engineering）驱动行为涌现"**的谱系，而非"控制器结构改良"谱系。其思想与多阶段episodic control（Tuyls et al.）有交集，但应用于连续控制领域的扰动恢复。

Dataset / Evaluation

评估覆盖了仿真push recovery、持续牵引力、碰撞、杂乱球坑、不平地形以及真机Go1的拉力/冲击/木块/户外测试。范围较广，但存在明显局限： - **定量支撑薄弱**：成功率heatmap差异微小，主要靠速度衰减曲线和能耗数据支撑"柔顺"claim； - **真机复杂地形缺乏baseline对比**：文中只展示了compliant policy在户外和木块中的视频，未给出baseline的定量失败率，无法严格证明是柔顺性带来了地形泛化； - **未见扰动的泛化未充分验证**：训练时的扰动是作用在base的冲量，而测试中的地形扰动是作用在feet的接触力，虽然定性显示有效，但未解释机制上为何能泛化。

Limitation

1) **恢复阶段是硬编码的**：1秒时长和常数奖励替换是强先验，对不同幅值/方向的扰动可能不是最优，方法的可扩展性受限于这个手动设计的"时间窗口"。 2) **增益归因模糊**：成功率提升有限，主要好处在能量和交互力。能量降低可能部分来自恢复阶段直接优化了机械功（奖励中本来就包含能量项），而非策略真正学到了生物级别的柔顺动力学。 3) **与硬件控制器的耦合未解耦**：仿真中使用Kp=40的低增益（相比很多RL工作常用的80-100已属温和），真机的柔顺性有多少来自策略，多少来自底层PD的宽容度，文中未剥离。 4) **缺乏与经典柔顺控制的直接对比**：没有与阻抗控制、导纳控制或基于动量观测器的主动柔顺进行 head-to-head 比较，难以证明DRL在此场景下的必要性。

Takeaway

1) **时间维度的奖励松弛是诱导柔顺行为的极简有效手段**：这个insight可以迁移到任何人机交互或接触丰富的操作任务中——在接触发生瞬间暂时"放开"任务奖励，让策略学会顺应而非对抗。
2) **RL的"僵硬"往往源于奖励结构而非表示能力**：在指责策略不自然之前，应先检查奖励函数是否在所有时刻都施加了不切实际的跟踪要求。
3) **该方向下一步应与在线自适应结合**：固定恢复阶段过于死板，未来值得探索的是由策略自身决定何时结束恢复（如基于重置门控或选项框架），从而实现真正的动态优先级切换。

一句话总结

本文属于"通过奖励重塑诱导行为涌现"的技术路线，其核心贡献是提出了一种在RL训练过程中注入"任务目标松弛"阶段的极简机制，以克服标准RL在扰动下过度刚性的问题；它真正有价值的是揭示了**时间非对称的奖励结构可以诱导出硬件可部署的被动柔顺性**，而非在鲁棒性上带来突破性提升。