精读笔记

Problem Setting

这篇论文处理的不是四足 locomotion 的基本控制问题，而是一个更具体的系统瓶颈：如何把低层优化控制真正放进大规模 RL 训练闭环，同时部署时仍能高频运行。传统 MPC+WBC 的问题在于高层 MPC 依赖简化模型和有限 horizon，遇到粗糙地形、负载变化、接触时序误差时预测容易失真；端到端 RL 的问题在于约束只是软惩罚，部署时不保证扭矩、摩擦锥和接触力限制。

真正困难点在接口：RL 需要几千个并行环境和低开销 action execution，OC 需要每步解带约束 QP。以前的混合方法经常在这里妥协：减少并行环境、降低优化频率、近似优化层或把优化移到离线阶段。本文试图证明：只要低层 QP solver 的计算结构足够 regular，RL→OC 这条路线可以既训练得动，又部署得快。

Motivation

作者的核心观察是，RL 和 OC 的互补性本身不是新东西，真正缺的是一个可扩展的在线优化实现。OC 提供 hard constraint 和能量/力分配的 inductive bias；RL 提供 domain randomization 下的扰动适应和非模型化经验。但如果 OC 无法在训练期并行执行，高层策略就不会学习到真实低层控制器的行为，只能学一个被简化或延迟的 surrogate。

因此论文的动机不是发明新的 locomotion reward，也不是新的 gait，而是让 WBC 从部署时的 controller 变成训练时的环境动力学一部分。这个缺口很关键：一旦低层控制器参与训练，策略学到的是“在约束投影后的机器人”如何响应，而不是幻想自己可以直接施加任意关节动作。

Core Idea

本文真正的核心思想是把低层优化层做成可批处理的 test-time compute。CP 方法把凸 QP 迭代拆成固定 affine update 加解析 projection；这相当于把求解器重写成一种结构化 computation graph，而不是传统稀疏线性系统求解器。对于 RL 训练，这比每个环境调用 OSQP 这类 solver 更接近神经网络 batch inference，因此可以把 WBC 高频嵌入 thousands of environments。

控制上，RL 被放在 reference generator 的位置，而不是 actuator controller 的位置。它输出基座加速度参考和摆动足残差；WBC 则把这些参考转成满足物理约束的接触力/扭矩。这个设计引入的 inductive bias 很强：策略不需要学习力闭合、摩擦 cone、扭矩限制和能耗 tradeoff，低层优化器会自动完成这些投影。相比 OC→RL 或端到端 RL，本质区别在于最终 motor command 的 authority 属于优化层，而不是神经网络。

Method

关键机制一：CP-QP solver。它解决的是大规模并行 WBC 求解问题。传统 QP solver 的瓶颈不是单个小问题一定慢，而是 batched thousands of small QPs 时有过多分支、factorization 和 sparse preprocessing。CP 迭代把每步变成矩阵乘法和投影，牺牲部分高精度收敛速度，换来极高的并行规则性和 warm-start 友好性。

关键机制二：把 WBC 写成 GRF 空间的凸 QP。通过 SRBD，base acceleration tracking 和能耗项进入二次目标，摩擦锥、法向力、摆动腿零力、关节扭矩限制进入约束集合。这解决的是安全约束不可交给 reward 的问题。核心变化是控制输出先经过 feasible set，而不是事后惩罚。

关键机制三：高层策略只学任务空间 reference。action 不再是关节位置/扭矩，而是基座加速度和足端 residual。这降低 reward 复杂度，也让同一个策略更容易迁移到形态相近的机器人，因为机器人特定的质量、惯量、雅可比和扭矩限制由 WBC 吸收。

关键机制四：训练与部署使用同一个低层控制结构。很多 RL+OC 方法在训练时省略或近似优化层，部署时再加回来，产生 distribution mismatch。本文的 solver 让训练时就运行高频 WBC，因此策略见到的是低层优化器真实的 saturation、constraint clipping 和 best-effort tracking 行为。

Key Insight / Why It Works

最重要的有效性来源不是 PPO，也不是 reward，而是 representation alignment：策略的 action space 与 WBC 的可控接口对齐了。RL 学的是“给定一个会严格投影到物理可行域的控制器，我应该请求什么基座加速度和落足修正”，而不是学习底层力学。这显著降低探索难度，也减少了 reward 里手工约束惩罚的需要。

第二个核心贡献是把优化控制变成 scalable test-time compute。CP solver 的价值不在于它比所有 QP solver 数学上更优，而在于它的计算图适合 batch。对于小规模 dense WBC QP，固定次数一阶迭代加 warm-start 足够好；精确最优性不是瓶颈，吞吐量和频率才是瓶颈。这一点判断很重要：本文贡献更像 algorithmic engineering with the right computational abstraction，而不是新的控制理论。

第三个有效性来源是 hard projection 带来的 safety inductive bias。端到端 RL 即使 constrained training，也很难保证部署时不越界；本文把不可违反的东西放到 QP feasible set 里。只要模型和状态估计可信，这比 reward penalty 更可靠。但这也意味着性能不是自由提升，而是被 feasible region 主动限制。

哪些可能只是辅助：SOC vs pyramid、具体 reward 项、PPO 训练细节、甚至部分 solver 超参数都不是核心。更高 WBC 频率和 warm-start 对结果贡献很大，严格说属于系统 scaling/engineering；但正是这个 engineering 解锁了方法。文中对增益归因还不够彻底，尤其是 CP solver 本身、WBC inductive bias、更高控制频率和简化 reward 之间的贡献没有完全拆开。

Relation To Prior Work

这篇属于 RL→OC 层级控制谱系：RL 生成高层 guidance，OC/WBC 负责低层执行和安全。它最接近那些让 RL 学 reference、cost weight、dynamics residual 或 optimizer warm-start 的工作。不同点不在“用 RL 加 WBC”这个结构，而在训练期把 WBC 以高频、并行、真实约束的形式保留下来。

相对 MPC+WBC，本文用学习策略替代高层 MPC 的 horizon prediction，避免粗糙地形和负载扰动下的模型预测脆弱性；但低层仍保留 WBC 的力分配和约束。相对端到端 RL，本文放弃了神经策略对 actuator 的直接 authority，换来可解释可约束的控制输出。相对 constrained RL，本文不是在 policy optimization objective 中“鼓励安全”，而是在 action execution 中“强制安全”。

看似新的部分中，层级 RL+WBC、SRBD-WBC、force QP、domain randomization 都是已有思想重组。实质创新是 CP-based batched QP solver 与 RL training loop 的结合，以及由此带来的训练-部署一致性。它的技术价值更接近“让一个本来正确但不可扩展的架构变得可扩展”。

Dataset / Evaluation

评估覆盖较完整：有 Isaac Gym 大规模训练、MuJoCo sim-to-sim、Unitree Go1 真机实验，以及跨 Go1/A1/Go2/Mini Cheetah 的仿真迁移。任务主要围绕速度跟踪、粗糙/低摩擦/脆弱地面、负载扰动和约束满足，基本覆盖了论文主张的安全、能效和迁移。

实验确实支持“在安全约束和能效优先时 RL+WBC 优于端到端 RL / constrained RL / RL+MPC”这个 claim。尤其是接触力限制、低摩擦不打滑、能耗下降和跨机器人同策略迁移，比较符合框架的预期优势。

但 evaluation 也有明显边界。第一，复杂地形鲁棒性上端到端 RL 反而更强，说明本文方法不是 general locomotion capability 的 Pareto dominant。第二，真实世界主要是 Go1，跨平台主要在仿真里验证，真实 transfer claim 仍有限。第三，RL+MPC baseline 因 OSQP 无法并行只用少量环境训练，这个比较混入了 training budget / scaling 差异；它说明本文系统更 scalable，但不完全说明控制结构本身更优。第四，固定 gait frequency 和 predefined contact schedule 降低了任务复杂度，也限制了对高动态地形的结论。

Limitation

最大限制是 hard constraint 和 fixed gait 共同决定的可行域过窄。当机器人需要临时超出保守扭矩/接触力限制才能恢复时，WBC 会阻止这种动作；这不是 bug，而是方法的设计选择。因此它适合安全关键、低损伤、能效敏感场景，不一定适合极限敏捷 locomotion。

第二，约束保证依赖模型与估计。QP 中满足的是由 SRBD、Jacobian、估计接触状态和摩擦系数定义的约束；真实接触力、地面摩擦和软地形响应如果偏离模型，保证会变弱。文中未充分说明在强模型误差下 constraint satisfaction 的物理闭环误差界。

第三，solver 的优势依赖问题规模和结构。当前 WBC 是小规模凸 QP，约束有解析投影，batch 数很大；这正是 CP 的甜点区。若扩展到高自由度机器人、多接触、非凸碰撞约束、任务层不等式和复杂接触互补，是否仍能保持同样吞吐量并不清楚。

第四，泛化有真实成分，但不是无条件泛化。高层 action space 机器人无关，确实帮助迁移；但它隐含要求机器人形态、腿式结构、控制频率和动力学范围足够相似。跨平台结果更像 morphology family 内的 transfer，不应解读为通用 embodiment generalization。

第五，增益归因不完全干净。方法同时改变了 action abstraction、低层控制频率、约束处理、能耗优化、训练并行度和 reward 简化。哪些提升来自 CP solver，哪些来自经典 WBC，哪些来自更多并行数据，仍有混叠。

Takeaway

• 第一，RL+OC 的关键不是是否组合，而是组合是否进入训练闭环；如果优化层只在部署时出现，策略学到的行为会错位。
• 第二，对机器人控制里的小规模 QP，solver 的“GPU regularity”可能比单实例理论收敛阶更重要。
• 固定 affine + projection 的一阶方法在大规模 RL 中很有迁移价值。
• 第三，把策略 action space 提升到 WBC 可解释接口，是减少 reward engineering 和提高跨平台迁移的有效 inductive bias。

一句话总结

这篇论文把四足 RL+WBC 从“概念上合理但训练不可扩展”的混合控制，推进到“优化层可批处理、可训练闭环、可实时部署”的系统化实现，核心贡献是用 CP-style 固定计算图求解器解锁安全优化控制在大规模 RL 中的可用性。