精读笔记

Problem Setting

这篇论文面对的不是“让四足机器人在 rough terrain 上走起来”这个已经相对成熟的问题，而是更细的 formulation 问题：在学习型四足 locomotion 中，如何同时得到可越障、低能耗、少硬件越界、可真机部署的 gait，而不依赖显式 gait prior。

真正困难点在于这些目标之间不是简单同向的。粗糙地形要求偶尔高摆腿、高力矩、提前调整足端；低能耗又倾向低 effort、低 clearance、稳定周期 gait；硬件部署要求不能靠超高关节速度、力矩尖峰或仿真不真实接触来换取 terrain progress。传统复杂 reward 把这些冲突全部塞进一个标量目标，导致最终 gait 很容易被 air-time、contact-count、foot-clearance 等人为项锁死。

以前方法卡住的地方不是不能学 locomotion，而是 reward 项语义混杂：有些项是任务目标，有些是硬约束，有些只是审美或经验 gait template。优化器不会理解这些区别，只会根据权重寻找局部最优。于是 gait prior 既可能帮助训练，也可能把策略限制在错误运动模式里，尤其在 rough terrain 与能耗优化同时存在时。

Motivation

作者的核心观察是：locomotion reward 里的不同项实际上承担不同制度角色，不能都当作 reward shaping。速度跟踪是要优化的任务；力矩、关节速度、姿态边界是 deployment compatibility；能耗是 motion selection preference；地形观测是让 preference 条件化的信息。传统路线缺的不是更多 reward term，而是缺少对这些角色的分离。

这也是为什么论文反对 gait priors。air-time、contact-count、foot-clearance 看似是让策略更“像会走路”，但本质上是在指定某种 contact pattern 或 swing behavior。它们不是机器人必须满足的物理约束，而是开发者对某类 gait 的先验。如果先验与 terrain、速度区间、机器人动力学或能耗最优不一致，就会直接压制更好的解。

因此论文动机可以概括为：不要再用复杂 reward 去同时表达任务、限制、偏好和适应性，而是把 learning problem 重写成一个更接近控制需求语义的组合系统。

Core Idea

LoComposition 的核心不是一个新 policy architecture，也不是新的 RL algorithm，而是把 locomotion learning 的目标函数拆成不同机制：reward 只负责 task tracking；constraints 只负责 operational limits；energy minimization 负责在可行运动中选择更经济的 gait；exteroceptive perception 负责告诉策略何时应该偏离低能耗默认动作去处理地形。

这个建模方式引入的 inductive bias 很关键：gait 不再由显式 contact template 决定，而由“满足任务与限制条件下最省机械功”的选择原则涌现。换句话说，它把 gait prior 从人工指定的离散/时序规则，替换成一个更物理、更可迁移的优化偏好。只要能耗 landscape 与真实动力学足够一致，trot/bounding/walk 之类模式应该是优化结果，而不是标签。

和 prior 的本质区别在于：很多 prior work 也用 constraints、能耗或 perception，但常把 constraints 也用于 style，或者把能耗作为附加 reward penalty。这里更明确地把 constraints 限定为 deployment limits，把 style priors 从系统中删掉。这一点是 formulation 上的实质变化。

Method

方法中最值得保留的是机制层面的三步。

第一，operational limits 用 Constraints-as-Terminations 表达，而不是 reward penalty。它解决的是 reward 权重无法可靠表达“不可部署行为”的问题。违反力矩、关节速度、关节加速度、action rate、base orientation 等限制时，通过 stochastic termination 缩短信贷传播和未来回报，而不是让策略用更高 task reward 抵消 violation。核心变化是：硬件边界从可交易 reward term 变成影响 rollout horizon 的可部署性条件。

第二，mechanical power penalty 作为 gait preference，而不是 gait template。它解决的是 under-specified locomotion 中存在多个可行 gait 的选择问题。能耗项不会告诉机器人哪只脚何时离地，也不规定 foot clearance；它只改变可行行为之间的排序。因此它更像物理归纳偏置，而不是手工风格标签。

第三，elevation map 让 energy preference 条件化于 terrain。没有地形前视，低能耗偏好很容易压低摆腿和动作幅度，导致粗糙地形失败或接触探测。感知的作用不是单纯提高信息量，而是让策略知道什么时候应该花能量。这里的信息流重组很重要：terrain observation 调制 energy expenditure，而不是通过 clearance reward 直接指定抬腿高度。

显式 gait priors 被放在 ablation 而非最终方法中，这一点很有说服力。作者不是说 gait prior 永远无用，而是说明在这个 decomposition 下，它们不应被当成 operational constraints。

Key Insight / Why It Works

最核心 insight 是：legged locomotion 的 gait selection 可以被看作 constrained feasible set 上的 energy-biased selection，而不是 reward-engineered style imitation。速度跟踪和地形 curriculum 先给出一组能完成任务的行为；operational constraints 切掉不可部署区域；能耗项在剩余行为中偏向更自然/经济的解；perception 允许这个偏好不是静态的，而是随地形难度改变。

为什么有效？因为在四足动力学里，很多 gait pattern 本来就是能耗、稳定性、速度和接触约束共同作用下的结构性最优。显式 contact prior 反而可能把优化锁到非最优 basin。论文里 LP 学到 high-COT bounding，而 LEP 转向 trot，说明能耗项不是单纯降低数值指标，而是在改变 attractor/gait basin。这部分是论文最强的机制证据。

我认为真正贡献主要在 formulation 和 ablation 归因，而不是算法。CaT、power penalty、height map、PPO、terrain curriculum 都是已有组件；新意在于明确规定它们各自承担什么语义，并展示错误语义分配会导致不同 failure mode。换句话说，这是 better inductive bias / objective factorization，而不是 scaling、test-time compute 或 representation breakthrough。

哪些可能只是辅助？大规模 Isaac Lab PPO、terrain curriculum、domain randomization、LiDAR elevation mapping pipeline 都是必要工程基础，但不是概念贡献。它们可能显著影响 sim-to-real 成功率，因此增益不能完全归因于 decomposition。尤其 RP baseline 保留官方 PPO 超参和 action scale，而 CaT variants 使用另一套设置；虽然作者解释了这样做是为了公平，但严格来说仍存在配置差异。

最值得注意的是 perception 的角色。这里没有形成长期 planning 或显式 foothold planner；所谓 terrain adaptation 更像 reactive/short-horizon anticipatory control，由局部 elevation patch 触发能耗分配变化。不要把它解读成高级规划能力。它验证的是 local terrain-conditioned energy modulation，而不是复杂地形上的长时程推理。

Relation To Prior Work

这篇论文处在几条技术谱系的交叉点：Rudin/legged-gym 式大规模 PPO rough-terrain locomotion、CaT/constraint-based locomotion、energy-minimization emergent gait、perceptive locomotion。它不是从零提出新范式，而是把已有组件重新组织成更干净的 objective semantics。

和复杂 reward locomotion 的区别在于，它不再把 smoothness、air time、clearance、torque penalty 等项混在一起调权重。传统方法的 gait 很多时候是 reward designer 预设的结果；LoComposition 试图让 gait 由能耗和约束自然决定。

和 constraint-based gait prior 工作的区别在于，它拒绝把 gait style 放进 constraints。Kim 等路线强调 constraints 也可以表达 gait preference；这篇的立场相反：constraints 应该保留给有直接物理/部署意义的限制。这个 distinction 很重要，因为它决定了 constraint 是 safety/deployability interface，还是另一种 reward shaping。

和 energy-emergent gait 工作相比，它的新增点是把能耗放到 rough-terrain perceptive setting 里，并证明没有 perception 时能耗会与越障冲突。也就是说，energy minimization alone 并不够；必须有 terrain-conditioned modulation。这个组合比单独“能耗产生 gait”更接近真实部署问题。

实质创新不是某个模块，而是把 gait prior 从 formulation 中移除后，仍能通过 energy + constraints + perception 保持 rough-terrain 和真机性能。看似新，其实是已有思想的强约束重组；但这种重组本身在 locomotion reward engineering 里有明确价值。

Dataset / Evaluation

评估覆盖了仿真 rough terrain curriculum、flat-terrain COT、operational-limit violation、contact pattern diagnostic 和 Unitree Go2 真机零样本部署。作为验证 formulation claim 的实验设计比较扎实，因为每个核心假设都有对应 ablation：去 energy、去 perception、去 limits、加 gait-prior constraints、对比 conventional reward baseline。

仿真 terrain 使用 procedural curriculum，包括 stairs、platforms、slopes、random rough height fields 等。它能支持“在训练分布内 rough-terrain traversal 不下降太多且能耗更低”的结论，但 achieved curriculum level 是内部训练统计，不是通用 terrain severity 指标。它不能直接说明户外复杂地形泛化。

真机实验是论文可信度的重要加分。它不是只在仿真里报告 COT，而是在 Unitree Go2 上用 LiDAR elevation map 做 zero-shot deployment。结果支持 LEP 比 LP 更硬件友好：LP 仿真 terrain level 更高但真机障碍更差，这个反差很好地说明“仿真越障能力”不等于 deployment quality。

但 evaluation 仍有明显边界：真机场景数量有限，障碍相对受控；部分实验使用 Vicon 提供 global pose 来降低状态估计干扰；没有系统测试感知噪声、遮挡、地图漂移、不同机器人形态或更极端 terrain。benchmark 足以支持论文的核心 formulation claim，但不足以证明广义 outdoor autonomy。

Limitation

第一，方法依赖 energy objective 与期望 gait 的对齐。机械功最小化在中低速平地/轻度 rough terrain 上通常合理，但在高速奔跑、跳跃、松软地面、强冲击越障或任务需要 aggressive maneuver 时，低 COT 未必等于可取行为。能耗项可能会压制必要动态动作。

第二，constraints 不是安全保证。CaT 只是训练时改变 termination probability 和 credit assignment，不能提供 runtime safety certificate。真机上仍可能在 distribution shift 下违反力矩/姿态限制。所谓 operational-limit compliance 是经验性降低 violation，不是形式化安全。

第三，constraint design 可能成为新的 reward engineering。论文批评 reward weights，但 operational limit thresholds、p_max、violation scaling、hard reset 条件同样需要人工设计。区别在于语义更清楚，但并没有完全消除调参。

第四，泛化能力文中未充分说明。只在 Go2、特定 terrain curriculum、特定高度图观测和受控真机障碍上验证。跨 morphology、跨传感器、跨地面材料、无 Vicon 完全 onboard state estimation 的性能仍未知。

第五，增益来源不完全可分离。LEP 的成功可能来自 decomposition，也可能部分来自 terrain curriculum 覆盖、domain randomization、大规模并行 PPO、合适能耗 schedule 和 observation normalization。论文 ablation 已经尽量控制，但 baseline RP 与 controlled variants 的训练 recipe 并非完全同构，因此“56% COT / 96% violation”不应被解读为纯算法性改进。

第六，perception adaptation 是局部的。13×11 elevation patch 支持短视距 anticipatory stepping，但没有证明策略形成长期 foothold planning 或 terrain reasoning。更复杂场景下可能需要显式规划、memory 或更强世界模型。

Takeaway

• 1. 对 locomotion learning，更重要的可能不是继续堆 reward term，而是把 reward/constraint/preference/information 的语义分清。
• 这个 formulation insight 可迁移到 manipulation、whole-body control、driving 等多目标控制问题。
• 2. Gait prior 应该被谨慎使用。
• 它们是有效 engineering shortcut，但一旦任务进入 rough terrain、能耗优化或真机部署，显式 contact-style prior 可能成为错误 bias。

一句话总结

LoComposition 是一篇 formulation-driven 的四足 locomotion 论文：它把复杂 reward 中混杂的任务、约束、能耗偏好和地形信息重新分解，证明 gait prior 可以被更物理的 energy-biased constrained learning 替代。