精读笔记

Problem Setting

CTS-MoE 处理的是 perceptive locomotion 中一个比“跨地形泛化”更具体的问题：不连续地形要求同一机器人在短时间内切换控制风格，例如平地速度跟踪、楼梯姿态调节、gap 前预备动作、障碍物前抬腿 / 爬升。难点不是让 policy 接收深度图，而是这些行为背后的 reward preference 相互冲突。单一 reward 会把策略推向保守平均解；多个 reward 又会让 value learning 出现 task interference。以前路线要么用 monolithic policy 吸收所有场景，牺牲 specialization；要么训练多个 sub-policy 和 selector，牺牲端到端 transition quality 与 unseen terrain generalization。本文抓住的关键矛盾是：行为空间需要共享，价值估计需要分离。

Motivation

作者不满足于继续堆 perception encoder，因为他们认为失败根源不是地形表示不够，而是 objective 不能表达不同地形所需的动作风格。比如 gap crossing 或 climb-up 需要短时放弃严格速度跟踪和姿态稳定，而这些在平地 reward 里通常是核心约束。因此，把所有场景压进一个 shared reward 会系统性地惩罚真正需要的动作。另一方面，hierarchical locomotion 虽然能通过 per-task reward 学到 specialized policy，但 selector 与 experts 分开训练，部署时变成类别判断问题：错选就失败，未见地形也很难插值。关键缺口是：如何在训练时利用 task-specific reward，同时在部署时不暴露 task ID、不依赖显式 terrain classifier，并保持 expert 间可连续组合。

Core Idea

这篇论文真正的想法是把多任务 locomotion 的冲突拆到 actor-critic 的不同侧面处理：critic 做分离，actor 做组合。critic 侧使用 task-specific value heads，让每个 reward / transition regime 有自己的 value estimate，避免 PPO advantage 被不同 reward scale 和 task dynamics 混在一起。actor 侧不用 task label，而是用 dense MoE 让多个 expert 形成可组合的行为基底，由 perception-conditioned router 给出软权重。

这个建模方式的本质变化是：地形不再被显式建模为一个离散类别，然后选择对应 controller；地形几何只作为 routing 的条件信号，直接调制 action distribution 的组合方式。它引入的 inductive bias 是“locomotion skills are compositional”：楼梯、gap、climb、rough ground 共享一部分稳定行走与姿态调节能力，但在局部时刻需要不同 expert 占比。相比 hierarchical selector，这种连续组合更适合 transition；相比 monolithic policy，它给了 specialization 一个结构化出口。

Method

第一，multi-reward formulation 解决的是目标表达能力不足的问题。作者没有试图用一个 reward 覆盖所有地形，而是承认不同 topology 需要不同 reward shaping：连续行走用速度跟踪，gap / obstacle 用 waypoint / point tracking 给策略释放短时速度偏差空间。核心变化是 reward 不再假设所有地形共享同一行为标准。

第二，multi-critic 解决的是多 reward PPO 中的 value interference。每个 task 对应独立 value head，并配合 per-task return / advantage normalization，使 policy gradient 不被高方差或高幅值任务主导。这里的必要性很强：如果 critic 共享，actor 即使有 MoE，也会被混乱 advantage 信号训练。

第三，dense MoE actor 解决的是行为平均化。它不是硬选择某个 terrain policy，而是把 expert action 软组合，因此可以在 terrain boundary 处连续变化。这个机制把 specialization 从离散 policy bank 变成连续 latent mixture。

第四，concurrent teacher-student 解决 deployability 和 partial observability。teacher 用 privileged state 学出更可训练的 latent，student 用历史 proprioception + depth 去对齐 teacher latent。关键点是端到端 concurrent，而不是先训 oracle 再离线蒸馏；这减少了 student 部署分布和 teacher 训练分布之间的错位。

Key Insight / Why It Works

最可能真正有效的部分是 critic / actor 的非对称设计：critic 必须知道 task，因为 value function 对 reward definition 敏感；actor 部署时不能知道 task，所以只能从 perception 中推断当前 behavior mixture。这是一个很合理的 inductive bias，比“所有东西都共享”或“所有东西都按任务分开”更贴合多地形 locomotion。

第二个关键是 dense routing 而不是 hard routing。不连续地形的难点往往发生在 transition window：接近台阶、准备跨 gap、落地恢复。hard selector 在这些阶段容易抖动或错切，而 dense MoE 可以表达混合状态。这可能解释了它在 gap / climb-up 这类 anticipatory task 上增益更明显。

第三，perception 是 MoE 有效的必要条件。blind MoE 没有明显收益，说明 expert capacity 本身不是答案；router 需要能提前看到 topology，才能在动作发生前改变 expert mixture。这里更像是 perception-conditioned retrieval / mixture，而不是高层 planning。

需要谨慎的是，论文把多个强 engineering 组件叠在一起：multi-reward、multi-critic、POPArt、per-task advantage normalization、CTS、curriculum、depth simulation、大模型 MoE。增益来源不清，尤其 MoE actor 的贡献和 reward engineering / critic stabilization 的贡献没有完全解耦。所谓 implicit adaptation 也可能部分来自 task ID 在 teacher latent 中的训练期泄漏，再由 student 通过地形视觉近似恢复；这不一定是坏事，但它更接近隐式 terrain recognition + behavior retrieval，而不是形成了抽象地形推理。

Relation To Prior Work

它最接近三条路线的交叉：asymmetric teacher-student locomotion、multi-task / multi-reward RL、MoE policy / multi-critic。相对 CTS / RMA 类方法，它的差异不是 teacher-student 本身，而是承认多地形需要不同 reward，并给 actor 一个 specialization 结构。相对 VocaLoco / parkour hierarchical policy，它的差异是没有部署期 high-level selector，也不把 terrain class 当作 action-time 输入；transition 由 router 连续调制。相对 MoE-Loco / multi-expert locomotion，它的关键新增是 perceptive routing 和 task label-free deployment，而不是 MoE 这个概念。

看似新的部分有不少是已有思想重组：multi-critic 防 reward interference、teacher-student distillation、MoE actor、POPArt normalization 都不是新概念。实质创新在于把这些组件放在一个匹配 locomotion 多任务矛盾的非对称架构里：训练时 task-aware value separation，部署时 perception-driven behavior composition。它属于“从 monolithic end-to-end policy 向 structured end-to-end policy 演化”的谱系，而不是新的 RL algorithm。

Dataset / Evaluation

评估覆盖了六类训练任务：flat、stair ascend / descend、climb up / down、gap crossing，并在 slope / rough 上做未见地形测试；还有 Unitree Go1 真机部署。这比只在仿真中测几个地形更有说服力，尤其 gap 和 climb-up 这类需要提前动作的地形确实对应论文的核心 claim。

但 evaluation 对“泛化”的支持仍有限。未见 terrain 是 rough / slope，它们与训练中的 discontinuous topology 不完全同类，且很多结果已经接近成功率饱和，因此更像验证 robustness，而不是验证对新任务结构的 compositional generalization。真实世界实验有价值，但论文没有给出足够系统的跨场景统计和 failure taxonomy；作者也承认深度噪声、近距离感知和 actuator mismatch 会显著影响效果。

baseline 设置相对公平，因为都放进 CTS / MTRL 框架，但也因此难以判断每个组件的边际贡献。最有力的证据是 blind MoE 无法复制收益，以及专家使用随地形连续变化；最薄弱的是缺少对 task label leakage、router 是否只是 terrain classifier、以及 MoE 容量 vs specialization 的清晰拆解。

Limitation

第一，方法高度依赖人工 task decomposition 和 reward design。它没有自动发现任务，也没有解决 reward 冲突的根本问题，而是要求研究者预先定义哪些地形属于哪些 reward regime。任务边界一旦不清晰，multi-critic 和 task-conditioned reward 的训练假设会变弱。

第二，所谓 implicit terrain adaptation 依赖局部感知足够预测即将发生的动作需求。对于遮挡、低质量深度、光照变化、近距离 blind zone 或需要长期路径规划的 terrain，router 很可能只是做短视反应。这里没有真正的 long-horizon planning，更多是局部 topology 到 expert mixture 的映射。

第三，scaling 上限不清。专家数固定为任务数附近时可行，但任务数量增加、任务组合更复杂时，dense MoE 可能出现 expert collapse、routing shortcut 或容量浪费。训练成本也不低，单阶段 on-policy + depth simulation + MoE + recurrent student 本身就是 heavy scaling。

第四，泛化 claim 需要降温。当前泛化更可能来自训练地形分布、curriculum 和 domain randomization 的覆盖，而不是学到了可系统组合的新技能。benchmark overlap 或 terrain family overlap 可能让 unseen terrain 仍落在已学局部几何模式附近。

第五，增益归因不清。多 reward 可能已经解释了大量提升，多 critic 稳定了 PPO，MoE 只是提供额外容量和条件化路径；没有更干净的 factorial ablation，很难判断核心提升到底来自 architecture，还是 reward / curriculum / compute。

Takeaway

• 1. 多地形 locomotion 的核心不是更强 perception，而是 reward conflict 与 behavior specialization；如果 objective 仍是单一保守 reward，视觉再强也容易学成平均步态。
• 2. 一个可迁移的设计原则是：训练时允许 value / reward 使用 task information，部署时禁止 actor 依赖显式 task label，让 task information 通过 perception-conditioned latent mixture 间接进入控制。
• 3. Dense MoE 对机器人控制的价值不在扩大参数量，而在给 transition behavior 一个连续组合空间；这比 hard selector 更适合接触丰富、边界模糊的任务。
• 4. 未来更值得做的是自动发现 reward regimes / skill bases、约束 routing 的物理一致性、减少 teacher/task-label leakage，以及把局部 MoE routing 和长期 terrain planning 结合起来。

一句话总结

CTS-MoE 是一篇把 perceptive locomotion 从单体策略或分层选择器推进到“训练期任务分离、部署期感知组合”的结构化端到端策略的工作，真正贡献在于对多 reward locomotion sharing–separation 矛盾的架构化处理，而不是 MoE 或 teacher-student 本身。