精读笔记

Problem Setting

论文标题：Not Only Rewards but Also Constraints: Applications on Legged Robot Locomotion（IEEE Transactions on Robotics / 2024）。

这篇论文实际瞄准的是腿足机器人 model-free RL 控制器的工程瓶颈：不是缺一个能走路的 reward，而是已有高性能 locomotion policy 往往依赖十几个 reward term 和大量系数调参，导致控制器设计高度 robot-specific、难复现、难迁移。真正困难点在于，reward-only 框架把三类东西混在一起：任务目标、硬件/物理可行性、运动风格。它们被压成一个加权和后，工程师只能通过调系数间接塑形策略，而系数没有物理语义，也不稳定。

以前方法卡住的地方不是性能上限，而是工程可扩展性。SOTA locomotion RL 已经能通过大规模仿真、privileged teacher、student distillation、domain randomization 做到很强鲁棒性；问题是每换一个机器人或运动风格，reward distribution 变了，原来的 soft penalties 不再对应同样行为。关键矛盾是：机器人控制里很多“要求”本质上是边界/可行域，而 reward-only 方法却把它们当作偏好去最大化或惩罚。

Motivation

作者的核心观察很直接：在数值优化里，工程师不会把所有需求都写成 objective；硬件限制、几何边界、接触约束、姿态范围通常作为 constraints。RL locomotion 里却长期把这些东西写成 reward penalties，本质上是把可行性问题变成权重调参问题。

已有 constrained RL 的缺口在于，它主要围绕 safe RL benchmark 或少数安全约束展开，关注“训练中/部署中是否安全”，而不是“能否减少复杂机器人控制中的 reward engineering”。本文的切入点更工程化：constraints 的价值不只是 safety，而是把工程意图以更稳定、更可解释、更可迁移的方式注入策略学习。

因此这篇论文缺的不是新 locomotion architecture，而是一个能把复杂工程约束纳入 RL、同时不显著增加计算负担的优化框架。作者试图证明：如果约束处理足够 scalable，那么很多原先靠 reward shaping 解决的问题可以更干净地由 constraints 解决。

Core Idea

核心思想是将 locomotion RL 从 reward-only optimization 改成 constrained optimization：少数 reward 只表达真正要优化的目标，例如速度跟踪、能耗、动作平滑；大量原来作为 penalty 的项改成 constraints，用来定义策略搜索的可接受区域，例如关节范围、接触安全、步态模式、足端滑移、COM 姿态等。

这改变了建模方式：reward 不再承担所有工程语义，constraint 成为一种结构化 inductive bias。它把“我希望机器人尽量怎样”与“机器人不应离开什么区域”分离。直觉上这更可扩展，因为 reward 系数表达的是相对重要性，会受 robot dynamics 和 signal scale 影响；constraint threshold 表达的是边界，往往有物理单位或明确语义。跨平台迁移时，后者比前者更稳定。

与 prior 的本质区别不是“用了 CMDP”本身，而是把 CMDP 用作 reward engineering 的替代工具。论文并不主要追求 formal safety guarantee，而是利用约束优化的梯度结构和可解释边界，让工程师更直接地控制策略收敛区域。

Method

方法的关键不在 teacher-student、terrain curriculum 或 domain randomization，这些更像成熟 locomotion pipeline 的底座；本文真正的方法贡献在 constrained teacher policy training。

第一，约束语义分成两类。Probabilistic constraints 用 indicator cost 限制坏事件出现概率，适合表达“最好每个时刻都不要发生”的要求，例如非足端接触、关节越界、力矩/速度越界、步态相位不匹配。Average constraints 限制物理量期望，适合表达“平均水平要控制住”的要求，例如接触点速度、足端高度、非指令方向速度。这一划分重要，因为它避免了把所有工程需求都粗暴写成同一种 cost。

第二，用 IPO-style log barrier 把多约束 CMDP 转成可优化目标，并结合 TRPO 的 trust-region/line-search 做稳定更新。log barrier 的作用是：约束未满足时产生强梯度，约束满足后仍在边界附近保留 shaping，而不是完全忽略 cost。这对机器人尤其重要，因为接近关节限位、接近滑移边界、接近接触异常区域本身就应被持续抑制。

第三，adaptive constraint thresholding 解决初始策略不可行的问题。随机初始化 policy 往往违反大量约束，原始 barrier 方法要求从 feasible region 内开始，不现实。作者通过根据当前 policy cost 临时放宽阈值，再逐步把策略引向真实阈值，本质上是在做可行域 curriculum。

第四，multi-head cost value function 解决多约束规模化问题。每个约束都需要 cost advantage，独立 critic 会线性增加参数和计算；共享 backbone 只扩展输出头，使十几个约束的 GAE 估计变得可承受。这是工程组件，但没有它，constrained RL 很难落到真实 locomotion 规模。

Key Insight / Why It Works

最重要的 insight 是：很多 locomotion reward term 其实是被误放进 objective 的 constraints。把这些项移出 reward，不只是减少 term 数量，而是减少 reward 权重之间的病态耦合。reward-only 中，若 nominal pose penalty、foot clearance penalty、slippage penalty、torque penalty、tracking reward 的尺度随机器人变化而变化，策略行为会漂；constraint formulation 则把这些要求转成边界，使策略先满足“像一个可接受机器人运动”，再在其中优化任务。

方法有效的核心来源更像 better inductive bias，而不是 scaling。它没有发明新的 locomotion capability；底层能力仍来自大规模仿真数据覆盖、terrain curriculum、privileged teacher、student distillation 和 domain randomization。本文的贡献是在已有强 pipeline 上，改变工程意图进入优化问题的方式，从而提升跨机器人配置复用性。

log barrier 是另一个关键点。相比把 cost 当 penalty 或 P3O-style clamp，barrier 在 constraint-satisfying region 内仍提供连续梯度。这使约束不只是硬判定，也提供“远离边界”的局部 shaping。对于接触速度、关节角、COM 姿态这类机器人变量，这种边界内梯度可能正是保持自然、稳定运动的原因之一。

adaptive thresholding 则更像必要的训练技巧，不应被过度解读为理论贡献。它牺牲了标准 interior-point 的严格形式，换来从不可行随机策略开始训练的实用性。multi-head critic 也是类似：它是 scaling constrained RL 到十几个 constraints 的工程关键，但本质是共享表示和并行化。

需要明确的是，本文没有证明 constrained formulation 本身产生了更强的地形泛化。真机鲁棒性很可能主要来自数据覆盖、地形 curriculum、domain randomization 和已有 teacher-student sim-to-real recipe。constraints 更可信的增益是减少 reward engineering、提升工程迁移，而不是单独提升 locomotion intelligence。

Relation To Prior Work

这篇属于 model-free RL locomotion + constrained RL 的交叉谱系，但它与 safe RL 文献的目标不同。CPO、IPO、P3O 等 prior 主要讨论如何在 CMDP 中满足约束，常见验证是低维或标准 benchmark 上的一两个 constraints。本文的新增信息是：在真实复杂机器人控制中，把 constraints 作为工程设计工具，而不只是 safety mechanism，并证明多约束版本可用于真机 locomotion。

与 reward-only locomotion 工作相比，底层训练框架并不革命：仍是仿真训练、privileged teacher、student imitation、domain randomization、terrain curriculum。真正不同在于 reward/cost 的职责划分。以往用十几个 reward term 软性塑形自然运动；本文把其中大量风格和可行性项变成约束，让 reward 只保留少数目标。

与 imitation / motion prior 路线相比，本文不依赖动物数据、轨迹优化专家或参考 motion，因此不会被示范分布强限制。但它也没有自动发现风格；步态相位、关节范围、COM 范围等仍由工程师显式指定。换言之，它从“调权重”转向“写边界”，不是从“人工设计”转向“自动学习”。

与 morphology randomization 的跨机器人泛化不同，本文不是训练一个统一 policy 适配多个形态，而是复用同一工程框架分别训练不同机器人。它的 generalization 是 design generalization / pipeline generalization，而不是 policy-level zero-shot morphology generalization。

Dataset / Evaluation

评估覆盖面相当强，尤其相对 constrained RL 文献而言。作者在多个四足和一个双足机器人上训练，并在 Raibo 和 Mini-Cheetah 上做真机部署，地形包括户外路径、坡地、滑移、变形、障碍等。这足以支持“该框架能在真实 locomotion pipeline 中工作”的 claim，而不仅是仿真 toy result。

跨机器人实验比较有说服力的是 reward-only 迁移到 ANYmal C 时性能和运动风格退化，而 constraints-based 框架更稳定。这直接验证了论文最核心的工程 claim：reward coefficients 的语义不跨机器人稳定，而 constraint boundaries 更容易迁移。

但 evaluation 也有边界。首先，多机器人大多是分别训练 policy，不是同一 policy 泛化；因此不能把结果解读成形态泛化能力。其次，真实世界只部署了两台四足，双足 ATLAS 是仿真结果，不能说明 biped sim-to-real。第三，方法与强 locomotion pipeline 深度耦合，实验没有完全隔离 constraints 与 curriculum/domain randomization/teacher-student 的贡献。因此真机鲁棒性的归因不应过度给 constrained RL。

Limitation

最大限制是：它没有消除工程设计，只是把 reward coefficient tuning 转成 constraint design。这个转移是有价值的，因为 constraint threshold 更可解释，但在复杂任务中依然需要工程师知道哪些约束该写、边界设在哪里、哪些约束允许违反、哪些约束应优先满足。

第二，约束之间冲突时的行为文中未充分说明。真实任务中，速度跟踪、足端 clearance、能耗、低姿态通过障碍、避免滑移可能互相冲突；log barrier 会把所有约束放进同一 barrier sum，但没有显式优先级或可恢复机制。若可行域很窄或不存在，训练可能变得非常脆弱。

第三，scalability 的上限仍不清楚。multi-head critic 解决了十几个约束的计算问题，但更多、更稀疏、更长时序的 constraints 可能带来 cost value 估计噪声、advantage 方差和梯度冲突。论文没有系统讨论高维约束集下的 credit assignment。

第四，真实泛化能力可能主要来自数据覆盖。terrain curriculum、domain randomization 和 privileged teacher 已经是强 baseline；constraints 主要改善工程可迁移性，而不是产生新的环境理解或 planning 能力。所谓 robust locomotion 不应被解释成策略形成了长期推理，它仍然更像在大量仿真接触分布中学到的 reactive control。

第五，安全保证有限。训练中使用 discounted expected constraints，并通过 adaptive thresholding 放宽可行域；这更像 practical constraint satisfaction，不是严格 hard safety。真机中只能验证可观测的部分约束，且 stochastic policy/现实扰动下的 tail risk 没有被系统分析。

Takeaway

• 1. 最值得迁移的思想是 reward/constraint 职责分离：reward 表达优化目标，constraint 表达工程边界。
• 很多机器人 RL 失败不是 reward 不够多，而是把边界问题误写成了权重问题。
• 2. 对跨平台控制器工程而言，可解释边界通常比 reward coefficient 更可复用。
• 未来 locomotion framework 可能会越来越像“少量任务 reward + 大量可配置 constraints + 自动边界生成”。

一句话总结

这篇论文把 constrained RL 从“安全约束算法”重新定位为复杂机器人 RL 的工程建模工具，核心贡献是用可解释、可迁移的约束边界替代大量 robot-specific reward shaping，从而推动 locomotion policy design 从 reward engineering 走向 objective-constraint 分离。