精读笔记

Problem Setting

论文标题：SRL: Combining SLIP Model and Reinforcement Learning for Agile Robotic Jumping（arXiv preprint / 2026-06-18）。

这篇论文不是在解决“机器人能不能跳起来”这个低层问题，而是在解决跳跃控制里一个更具体的矛盾：跳跃需要高度相位化的能量管理，但真实机器人又存在接触不确定性、关节动力学误差、摩擦变化、落地冲击和状态估计噪声。纯模型方法能给出合理的能量结构，但对真实接触和多关节耦合太脆；纯 RL 有适应性，但从零探索跳跃会浪费大量样本，并且容易学到不稳定或低效的动作模式。

真正困难点在相位切换，而不是轨迹跟踪本身。起跳、腾空、落地、恢复之间的动力学约束完全不同，错误的相位判断会导致能量注入时机错位。以前的 SLIP/MPC 方法通常把真实机器人压缩成模板，导致模型 mismatch；RL-only 则把结构问题交给数据，训练代价高且探索不稳。这篇论文的切入点是：不要让 RL 发现跳跃结构，而是让 RL 修正一个已经具备跳跃结构的模板控制器。

Motivation

作者的动机可以概括为：SLIP 的问题不是没有价值，而是太理想；RL 的问题不是不能适应，而是没有物理先验。两者的互补性很明显，但关键不是简单把 SLIP 当 imitation target，也不是用 RL 替代 SLIP，而是让 SLIP 持续参与控制闭环，作为 feedforward scaffold。

核心缺口是：已有模型驱动方法缺少对非理想接触和硬件误差的在线补偿；已有 RL 方法缺少对跳跃相位、能量储放、落地缓冲的结构化约束。论文的观察是，跳跃这类运动的高层结构相对稳定，可以用低维模板表达；复杂性主要在 residual 层面，即姿态、速度、足端位置和落地误差的修正。因此 SRL 试图把“运动生成”和“误差补偿”拆成两个不同来源的信息流。

Core Idea

SRL 的核心思想是把 SLIP 从一个单独的控制器变成 RL 的动作先验。SLIP/FSM 负责给出一个物理上合理的周期性跳跃参考，PPO 不直接输出完整动作，而是输出对该参考的实时反馈修正。最终动作是 feedforward reference 加 residual feedback，再交给 PD 执行。

这在建模方式上有一个实质变化：动作空间从“所有可能关节命令”变成“围绕 SLIP 参考轨迹的局部修正空间”。这相当于向 RL 注入了强 inductive bias：跳跃应该遵循压缩—释放—飞行—缓冲—恢复的相位结构，策略只需学习模板在真实系统中的误差补偿。相比 RL-only，这显著降低探索难度；相比 SLIP/MPC，它允许策略吸收接触、摩擦、执行器和状态估计误差。

本质区别不是用了 PPO，而是 residual learning 被放在一个相位化模板控制器之上。它更像“template-based residual policy”，而不是通用端到端 locomotion RL。

Method

方法里真正必要的机制有三层。

第一，六相位 FSM 解决的是相位组织问题。跳跃不是平滑周期振荡可以完全描述的运动，起跳和落地阶段对力、阻尼、刚度的需求不同。FSM 通过状态相关的 stiffness、damping 和 rest length 调制，把能量注入和缓冲分配到不同相位。消融里用固定余弦振荡替代 FSM 后性能下降，说明相位条件化不是装饰，而是核心先验。

第二，SLIP→IK 的 feedforward reference 解决的是动作空间结构问题。SLIP 在 CoM-foot 空间生成低维动力学，再通过 IK 映射到关节角。这样 RL 面对的不是裸关节控制，而是一个已经具备跳跃意图的参考动作。其核心变化是把策略学习从 motion synthesis 降级为 residual stabilization。

第三，PPO feedback 解决的是模板 mismatch 问题。真实机器人中的接触、姿态、速度和足端误差无法被简化 SLIP 完整覆盖，因此策略基于 base velocity、角速度、姿态、关节误差等观测输出修正项。这里 PPO 本身不是创新，重要的是它被限制在 feedforward 附近，避免破坏物理模板。

reward 设计本质上是把 residual 的职责边界写清楚：保持姿态、跟踪速度、同步肢体、修正足端位置。phase-based training 更像 curriculum / reward shaping，帮助策略先学稳定再追速度，属于有效工程，但不是理论核心。

Key Insight / Why It Works

这篇论文最值得关注的 insight 是：对于跳跃这种强结构化动态技能，最有效的学习对象不是完整策略，而是物理模板的残差。RL 的样本效率提升来自搜索空间被强约束，而不是 PPO 本身更强。SLIP/FSM 提供了 latent phase structure，RL 学的是每个相位下的误差闭环。

真正起作用的可能是三件事的组合：better inductive bias、curriculum、action-space restriction。SLIP/FSM 给出能量组织和相位先验；residual action 降低策略探索维度；阶段化 reward 把训练从稳定性逐渐推向速度和效率。这不是 scaling 型工作，也不是靠更大网络或更多数据解决问题。它更接近 classical template model + learned residual controller 的路线。

最可能的核心贡献是六相位 SLIP/FSM 与 residual RL 的耦合，而不是“SLIP + PPO”这个表述本身。FSM 的贡献在消融中很明显：没有相位结构，控制器退化为固定节律 reference，无法适应跳跃中离散接触事件。速度奖励也重要，因为它给 residual policy 一个明确的任务方向，否则策略可能只学会不摔而不是跳得准。

但增益来源并不完全干净。SRL 同时用了 SLIP reference、FSM、reward shaping、phase-based training、多环境并行、domain randomization 和不同仿真器迁移。文中未充分说明各因素之间是否存在耦合，例如 SRL 相比 RL-only 的优势到底来自 action prior，还是 reward/curriculum 更精细。尤其是真机部分加入了 Humanoid Gym、Isaac Gym、MuJoCo、domain randomization 和 CI-EKF，这使 sim-to-real 成功的归因变复杂。

另外，所谓 adaptability 需要谨慎解读。论文展示的是任务分布内的随机距离、箱体/台阶和平台迁移，不是开放环境中的长时域规划。策略更像是在模板附近做 robust tracking，而不是形成了高层跳跃规划能力。

Relation To Prior Work

这篇工作最接近的谱系不是一般 DRL locomotion，而是 template model / CPG / MPC reference + learned residual policy。SLIP 提供模板动力学，RL 学 residual，这与很多 model-based prior + learning correction 的思想一致。看似新的是把它明确用于 agile jumping，并用六相位 FSM 把 SLIP 的相位结构显式化。

相对于传统 SLIP/MPC，SRL 的不同点在于不再要求模板完全正确，而是承认模板只负责主导运动结构，细节交给数据驱动反馈。相对于 RL-only，SRL 的不同点在于不让策略从零发现节律和能量注入，而是把物理先验直接嵌入 action generation。

哪些是已有思想重组：residual RL、PD tracking、domain randomization、reward shaping、FSM locomotion control 都不是新概念；SLIP 作为跳跃模板也不是新概念。实质创新在于把这些组件组织成一个相位化 residual jumping controller，并在双足/四足、仿真/真机上做了相对完整的验证。

因此这篇论文的定位更像是工程上有效的 hybrid controller，而不是提出了新的 RL 算法或新的动力学理论。

Dataset / Evaluation

评估覆盖了双足和四足、固定距离和随机距离、四足箱体跳跃、sim-to-sim 以及双足真机。这个覆盖面足以支持一个有限 claim：SRL 在结构化跳跃任务中比 RL-only 更省样本，比纯 SLIP/MPC 更稳。

但 evaluation 也有明显边界。第一，所有策略是按任务分别训练的，论文也承认当前不是统一策略。所谓 generalization 更接近平台和任务变体上的可迁移性，不是单策略跨任务泛化。第二，随机距离范围有限，环境复杂度主要是台阶/箱体这类规则几何，尚不能说明在非结构化地形上稳定工作。第三，真机只验证了双足，跳跃幅度相对保守；四足由于安全和执行器约束没有真机验证。第四，SLIP-based MPC baseline 的实现细节和公平性文中未充分说明，RL-only 与 SRL 的 reward/action space 是否完全可比也不够清楚。

总体看，实验较好验证了“物理先验提升训练效率和成功率”，但没有完全验证“复杂环境中的广泛部署能力”。

Limitation

SRL 成立依赖几个强前提。第一，任务必须能被一个低维 SLIP-like 模板覆盖。如果目标动作超出模板相位结构，例如强 3D 转向、非周期连续障碍、多接触策略切换，residual policy 可能没有足够表达能力。第二，FSM 相位切换必须基本正确；一旦状态估计或接触检测导致错相，feedforward 可能从先验变成干扰。第三，IK 和 PD 假设目标关节角可执行，但高冲击跳跃中执行器饱和、延迟和柔顺性会直接影响稳定性。

泛化上限也比较明确。当前方法不是学习一个高层 planner，而是学习模板附近的反馈控制。它可以对扰动和任务参数变化鲁棒，但不等价于对新地形、新障碍序列、新目标组合的规划泛化。所谓 arbitrary 3D trajectory 文中只是理论上声称，实验限制在 2D，这一点不能过度外推。

增益归因仍不清晰。FSM、SLIP reference、velocity reward、phase-based training 和 domain randomization 都可能贡献很大，但文中只消融了部分组件。特别是真机成功可能主要来自 domain randomization、保守任务范围和状态估计工程，而不完全来自 SRL 架构本身。

长期运行误差积累是一个实质问题，不是小缺陷。论文中 position error 会随时间累积，说明当前控制器更像短时 tracking / hopping stabilizer，而不是具备全局位置闭环或长期状态规划的系统。

Takeaway

• 1. 对强相位结构的动态技能，先用模板模型组织能量和相位，再用 RL 学 residual，通常比端到端 RL 更合理。
• 这一 insight 可迁移到跑、跳、攀爬、落地缓冲等接触丰富任务。
• 2. 这篇最有价值的不是 SLIP 本身，而是把 SLIP 放进 action prior 而非 reward prior 或 offline reference。
• 物理先验直接约束动作生成，比仅在 reward 中鼓励轨迹跟踪更强。

一句话总结

SRL 是一类典型的“物理模板生成主运动 + RL 残差修正”的混合跳跃控制方法，真正贡献在于用相位化 SLIP 先验重塑 RL 的动作搜索空间，而不是提出新的强化学习算法。