精读笔记

Problem Setting

这篇论文真正处理的是“统一 reactive motor policy”问题：四足机器人不是只要会 trot 或会 recover，而是要在不可预期接触、姿态崩坏、目标变化和 locomotion mode 切换时，用同一个控制接口连续地产生合适动作。关键矛盾是：单任务 DRL policy 可以很强，但窄；多专家/层级策略可以覆盖多个 skill，但切换和组合会带来不连续、延迟或专家塌缩；model-based 方法可以表达约束，但在未知多接触和快速失败恢复中很难实时枚举接触序列。这里的困难本质是 contact-rich 多模态反馈控制中的 skill composition，而不是单个 locomotion benchmark。

Motivation

已有路线缺的不是某个更大的网络，而是一个能在运行时连续重组已学 motor knowledge 的机制。传统 MPC/QP/NMPC 对明确接触和局部规划有效，但 fall recovery、body contact、leg stuck、tripping 这类状态下，接触部位和序列不可控，建模代价太高。单策略 DRL 在某个 mode 内有效，但在 recovery 到 walking、standing 到 steering 这类过渡处通常需要重新训练或显式切换。HRL option selection 只能选一个专家，缺少“中间技能”；MoE 混合动作输出又容易让 gating 偏向少数专家，专家失去分工。作者的核心观察是：动物式 locomotion 更像连续调节多个已有 motor primitives，而不是在一组离散控制器之间硬切换。

Core Idea

MELA 的核心思想是把多技能 locomotion 建模为“参数空间中的动态策略合成”。每个专家不是输出一个候选动作再投票，而是提供一整套 actor 参数；gating network 根据当前状态输出专家权重，对所有专家的 weights/biases 做加权平均，得到一个临时合成 DNN，再由这个 DNN 输出关节参考。这样，组合发生在高维 policy representation 中，而不是低维 action space 中。

这个建模方式的 inductive bias 很明确：如果多个专家在共同训练后形成某种参数语义对齐，那么参数插值可以产生连续、平滑、可执行的中间反馈策略。它相当于把“技能过渡”从显式状态机/option switching 转移为网络参数流形上的 interpolation。相比离散 HRL，它减少切换延迟和不连续；相比 action-level MoE，它避免每个时间步简单平均动作导致的冲突，也减少 gating 只用少数专家的塌缩倾向。真正新增的信息流是：状态不仅决定动作，也决定“当前应实例化哪一个 policy”。

Method

关键机制可以压缩为四个。

1. 两阶段训练：先训练 fall recovery 与 trotting 这类差异大的基础专家，再把它们复制到多个 expert slot 中进入联合训练。它解决的是多模态任务从零探索过难的问题；本质上是 curriculum + skill initialization，而不是单纯 architecture trick。

2. 专家联合分化：第二阶段不是冻结专家，而是让专家和 gating 一起被 SAC 更新。这样专家可以从初始 recovery/trotting 技能中分裂出更细的功能角色，例如侧滚、仰卧翻正、姿态保持、左右转、小步/大步 trot。核心变化是专家不再是人工定义 option，而是被 gating 使用压力驱动出的功能分解。

3. 参数级融合：gating 输出 softmax 权重，对每层参数加权合成 actor。它解决的是离散切换和 output MoE 不稳定的问题；代价是所有专家必须同构，且依赖参数空间语义可插值。

4. impedance / equilibrium-point action space：策略输出关节位置参考，由低层阻抗控制产生 torque。它解决真机接触和冲击下直接 torque policy 难以部署的问题，也把一部分稳定性和合规性交给低层物理结构。action filtering 与 smoothing loss 主要是防止仿真策略利用不可实现高频/大幅动作，属于关键工程稳定化措施，但不是 MELA 的概念核心。

Key Insight / Why It Works

最可能真正有效的原因不是 gating network 本身，而是“预训练技能锚点 + 共同训练下的参数空间对齐 + 低层阻抗控制”三者叠加。

第一，预训练专家提供了可用的局部策略 basin。fall recovery 和 trot 是动力学结构差异很大的技能，直接训练统一 policy 很容易在 reward 冲突和探索稀疏性中失败。MELA 先把问题变成从已有 basin 出发的重组和分化，这本质上是 curriculum / memory reuse。

第二，参数空间融合只有在专家之间存在某种 representation alignment 时才可能成立。论文通过复制少数预训练专家初始化多个专家，并在同一任务、同一 loss、同一 gating 下 cotrain，实际上强制这些专家处在可比较的参数坐标系里。否则直接平均两个独立训练 DNN 的参数通常没有语义。这里的隐含贡献是“让专家可被插值”的训练过程，而不只是插值公式。

第三，阻抗控制把策略输出限制成 equilibrium point modulation，显著降低了动作空间的病态程度。很多 recovery 行为可以通过改变参考姿态、让身体动力学和接触自然完成，而不是精确求逆动力学。这个 bias 对 sim-to-real 很关键，也让策略的组合更平滑。

第四，所谓新技能 emergence 很可能部分来自第二阶段 reward 和状态覆盖，而不是参数融合自动产生抽象推理。左右转向、变步长 trot、transition recovery 都是在联合训练任务中被优化出来的；MELA 提供了一个更容易学习这些技能的结构，但不能把所有泛化都归因于“专家组合”。

我会把这篇的核心贡献判断为 better inductive bias + curriculum-based skill recombination，而不是真正的 planning 或高层 reasoning。它在 test time 没有显式搜索，也没有长期状态建模；运行时的 adaptive 行为更接近根据 proprioceptive state 在一个已学 motor-skill manifold 上快速检索/插值。

Relation To Prior Work

它最接近三条线：HRL/options、MoE、以及 computer graphics 中的 mode-adaptive / parameter-blending networks。和 HRL 的本质区别是它不选择单个专家，而是连续合成一个新 policy；和 MoE 的区别是混合参数而不是混合输出动作；和 graphics 里的 mode-adaptive networks 的区别是这里合成的是闭环反馈控制器，要面对真实动力学、接触和 sim-to-real，而不是离线/运动学动画生成。

看似新颖的“多专家 + gating”并不新；真正有价值的是把 parameter blending 放进真实四足机器人闭环控制，并证明在 fall recovery + locomotion 这种强非线性接触任务中能跑。它属于 compositional policy learning / skill reuse 的技术谱系，同时带有强 robotics engineering bias：阻抗控制、动作滤波、平滑损失、仿真随机初始化。这些工程约束不是旁枝，它们很可能是能上真机的必要条件。

与 Hwangbo 等单技能/分任务 policy 相比，MELA 的推进在于统一策略和跨模式 transition；与 MCP/latent policy 类方法相比，它没有显式 latent action selection，而是把 latent composition 具体化为 actor 参数合成；与 classical MPC 相比，它放弃显式接触规划，换取局部 reactive robustness。

Dataset / Evaluation

评估覆盖了真实 Jueying 四足机器人上的摔倒恢复、原地转向、目标跟随、行走中绊倒恢复、草地/斜坡等场景，也在仿真中加入未训练地形、质量变化、电机故障等压力测试。对论文核心 claim——统一策略产生多模态 reactive locomotion——总体是有支撑的，尤其是真机上从失败姿态恢复并继续 locomotion 是强证据。

但评估仍有明显边界。首先，它不是标准化 benchmark，对比基线有限，很多结论依赖视频式展示和 supplementary 分析。其次，MoE 对比虽然指出专家不平衡，但文中未充分说明是否与 architecture size、training budget、reward tuning 完全公平。第三，泛化主要是局部扰动和物理参数变化层面的泛化，不是语义环境泛化；没有视觉、没有复杂地形预判、没有长期导航。第四，t-SNE/activation 图能说明 learned specialization 的相关性，但不能证明参数融合是性能提升的唯一原因。整体评价：evaluation 足以证明一个强 robotics proof-of-concept，但不足以严格分解算法增益来源。

Limitation

核心限制是参数空间融合的可扩展性。专家必须同构，且必须在共同训练中保持可插值；技能数量增加、任务差异变大后，参数平均可能进入无意义区域。这里的问题没有消失，只是从“如何选择/切换技能”转移成“如何训练一组可线性组合的专家”。

第二，泛化可能主要来自数据覆盖和 reward shaping。训练中随机初始姿态、包含多种目标与恢复场景，已经覆盖了大量局部失败状态；测试中的很多“unseen”更像动力学邻域插值，而不是真正 out-of-distribution reasoning。

第三，没有环境感知。策略只靠本体状态和目标向量，无法提前规划落足、选择支撑面、理解障碍 affordance。它解决的是 reactive recovery，不是 perception-aware locomotion。

第四，增益归因不清。两阶段预训练、8 个专家冗余、joint cotraining、SAC、阻抗控制、动作滤波、平滑损失都可能贡献很大。文中未充分说明如果用同样 curriculum 训练一个更大的 monolithic policy，或用 latent-conditioned policy，差距会怎样。

第五，所谓多专家“不会专家不平衡”不应过度泛化。参数融合确实可能缓解 output MoE 的少数专家支配，但 gating 仍可能形成偏置；只是这里通过 cotraining 和任务结构诱导了可解释分工。更大规模下是否仍成立，文中未充分说明。

Takeaway

• 1. 对机器人多技能学习，最值得迁移的 insight 是：不要只学动作组合，应该学习“可组合的反馈策略表示”；参数/latent policy space 的组合比 action averaging 更有潜力产生平滑过渡。
• 2. 预训练专家不是附属技巧，而是让组合学习成立的关键。
• 未来多技能机器人学习很可能继续依赖 skill library + joint adaptation，而不是端到端从零学所有模式。
• 3. 真机 locomotion 的 policy architecture 必须和低层控制 bias 一起设计。

一句话总结

这篇论文把多专家技能复用从“离散选择/动作混合”推进到“运行时参数空间合成反馈策略”，是四足机器人 reactive 多模态 locomotion 中一次有价值的 compositional policy learning + robotics inductive bias 结合。