精读笔记

Problem Setting

这篇论文解决的不是普通 motion tracking，也不是零样本泛化，而是一个更尴尬但实际很重要的问题：在大规模 humanoid WBC 已经做到很高平均成功率后，训练集里仍有一小撮可行 motion clips 学不下来。这个问题的技术难点在于它不像标准 long-tail 那样可以简单解释为样本少、采样不足或 cluster 太粗；作者观察到部分失败样本即使被 targeted training 仍然失败，说明默认训练 recipe 本身定义了一个能力上限。

关键矛盾是 deployable humanoid control 同时要求激进跟踪和可部署平滑控制。高动态 transition 需要大幅、快速、结构化的控制变化，但常规 effort/action-rate/torque-rate penalty 会把 policy 推向保守控制；平衡临界 motion 需要早期探索阶段不立刻摔倒，但 nominal gravity 下 untrained policy 往往还没进入有信息量的状态就 episode 终止。以前方法主要在“给困难数据更多预算”上做文章，而这篇认为真正卡住的是“用同一个 acquisition recipe 期待学到所有 motion capability”。

Motivation

已有路线的隐含假设是：只要 hard motion 被采样得足够多、被分到足够专门的 expert、或者模型/数据/compute 足够大，标准 RL tracking recipe 就能吸收它。Athena-WBC 的出发点正是这个假设不总成立。长尾失败中有一类不是 under-exposed，而是 acquisition objective 和 motion demand 不一致。

作者的核心观察有两个。第一，高动态失败不是因为 policy 没见过动作，而是 reward 中的 conservative regularization 把可行但激进的控制行为惩罚掉了。第二，平衡类失败不是 tracking reward 不够，而是早期训练在 nominal dynamics 下没有足够 survivability，导致学习信号到不了关键阶段。缺口因此不是再设计一个更大的 MoE，而是给不同失败机制配不同 learning bias。

Core Idea

论文真正的核心思想是 capability-aligned expert acquisition：专家不是按语义 motion cluster 划分，也不是纯粹按难度重采样，而是按“需要什么控制能力才能学会”来改变训练 recipe。dynamic expert 通过移除 effort/temporal reward penalty，把 policy 从保守低动作变化 regime 中释放出来；balance expert 通过 gravity curriculum 把原本无法进入有效状态分布的问题变成 continuation learning。

这个思想的本质区别在于它改变了建模对象：long-tail 不再是数据分布尾部，而是 baseline recipe 下的 capability boundary。它引入的 inductive bias 是“不同失败机制需要不同 acquisition dynamics”，而不是“不同 motion group 需要不同参数”。motion routing + DAgger 只是把这些能力重新组织成 deployable single policy 的信息流：先让 privileged experts 在各自更合适的训练条件下学会，再用 student 压缩掉特权输入和专家分支。

Method

方法里值得保留的机制不是完整 pipeline，而是几个必要的因果干预。

第一，residual failure mining 用训练集上的 rollout success 找出 baseline/general teacher 没吸收的 motion。它解决的是 high-average metric 掩盖系统性失败的问题，使后续训练目标不是泛泛提升平均 MPJPE，而是针对 remaining capability gaps。

第二，dynamic expert 把 reward 拆成 tracking、physical constraints、effort、temporal control，并明确区分 physical feasibility 与 conservative preference。它保留 joint/velocity/torque/contact 等物理约束，但去掉能量和时间平滑类 reward penalty；这会扩大可学习控制族，让 policy 愿意使用大但可行的动作变化。为了避免直接变成 jitter policy，平滑被移到 actor mean 的 auxiliary regularization 中，核心变化是把 smoothness 从 reward objective 的行为偏好改成 policy space 的局部正则。

第三，balance expert 用 gravity continuation 解决 cold-start survivability。它不是在最终环境作弊，因为 evaluation 回到 nominal gravity；它的作用是让早期 rollout 更长、接触和平衡状态更多，从而让 PPO 能看到本来会被早终止截断的学习信号。

第四，motion-routed DAgger 不是新算法，但在这里承担关键压缩作用：每个 motion 选择实际 rollout 表现最好的 frozen teacher，student 在自己的状态分布上模仿对应 teacher。它避免手动判定某个 clip 属于 dynamic 还是 balance，也把 privileged multi-expert system 压成单一 deployable controller。

第五，RL fine-tuning 更像闭环修复与 held-out tracking 优化。文中结果显示它不一定改善训练集长尾 coverage，甚至会损害部分 training long-tail 指标，因此不能把最终 held-out 提升简单归因于它。

Key Insight / Why It Works

最重要的 insight 是 reward regularization 的位置会改变 policy 的可达能力，而不仅仅改变动作质量。把 effort/action-rate/torque-rate 作为 reward penalty，会在 RL 优化中直接参与 credit assignment，导致 aggressive tracking 行为在学习早期就被压低价值；而把 smoothness 放到 auxiliary policy regularization 中，允许 policy 仍然追求 tracking/feasibility，只是在动作轨迹局部形状上受约束。这是论文中最有迁移价值的机制判断。

第二个 insight 是 balance failure 很多时候是 state-distribution access problem。低重力 curriculum 并不是让最终 policy 依赖低重力，而是让训练过程穿过原本不可达的中间状态。它本质上是 curriculum / continuation，而非表示学习创新。

第三，multi-teacher routing 的作用更像 empirical retrieval：对每个 motion 查哪个 teacher 成功率最高，再把标签蒸馏给 student。这里没有形成新的长期规划或推理能力，也没有证明 student 学到了可组合的 latent skill structure。它更像把多个 acquisition regimes 产生的行为库压缩进一个 policy。

我认为核心贡献排序是：1）把训练集 long-tail 归因到 capability bottleneck，而不是 exposure；2）reward-level conservatism 与 auxiliary smoothness 的分离；3）gravity curriculum 对 balance cold-start 的定位；4）routing/distillation pipeline。最后一项工程上重要，但思想上主要是已有 expert distillation 的重组。

哪些可能只是 engineering / scaling：adaptive sampler 的具体实现、teacher observation 设计、DAgger/RLFT staging、多个 seeds 和长训练流程都可能贡献了实际数字，但不是论文的本质新意。增益来源不清的一点是，pipeline 中 privileged observation、sampler、expert recipe、routing、fine-tuning 同时变化，虽然 ablation 有一定支持，但仍不足以完全隔离每个因素。

Relation To Prior Work

最接近的谱系是 large-scale humanoid motion tracking + privileged teacher/student + expert distillation。它继承了 PHC/OmniH2O/SONIC/GMT/EGM 的 motion-conditioned RL tracking 框架，也继承了 BumbleBee/Parkour-style multi-expert distillation 的压缩范式。

和 data allocation / motion partitioning 工作的本质差异在于：那些方法把 long-tail 看成 distribution management，Athena-WBC 把它看成 acquisition recipe mismatch。BumbleBee 这类方法按 motion 特征或语义分专家，Athena-WBC 则按失败机制改变 expert 的 objective/curriculum。这个差异是实质的，因为它改变的不只是专家看到的数据，而是专家被允许学到的控制 regime。

和 OmniTrack 的关系更微妙。OmniTrack 认为很多困难来自 reference 不物理一致，通过先生成 physics-consistent reference 可让单一 tracker 覆盖高动态动作。Athena-WBC 则处在另一个 regime：即使有强 baseline 和 targeted training，某些 motion 仍需要改变 policy acquisition。两者不是完全矛盾，但说明 long-tail 的来源可能分层：reference feasibility、embodiment limit、reward-induced capability、optimization budget 都可能混在一起。

看似新的部分中，DAgger、privileged teacher、curriculum、auxiliary smoothness 都不是新技术；实质创新在于把这些已有组件组织成一个针对 capability bottleneck 的诊断-干预闭环，并用实验说明 reward/curriculum 的错位确实会制造训练集残余失败。

Dataset / Evaluation

评估覆盖了大规模训练语料、IID held-out AMASS、hard OOD Omni-eval，以及手工/自动构造的 dynamic 与 balance 诊断子集。这个设置比只报平均 SR 更接近论文 claim，因为它专门观察训练集残余、长尾子类、threshold sensitivity 和 motion-salience-aware error。

STC/TIS 和 MPJPE-W 是有价值的评估补充。SR 在高覆盖 regime 容易饱和，且对阈值敏感；TIS 至少能看出改进是否只发生在宽松阈值附近。MPJPE-W 也比普通 MPJPE 更适合捕捉“动作定义部位”的 tracking 质量。

但 evaluation 仍不能完全证明真实部署能力。论文没有系统真机量化结果，平台还是内部 XPENG humanoid；所有主要证据来自仿真和 mocap tracking。hard OOD 仍然是 motion-distribution OOD，不是环境、接触扰动、执行器误差、地面变化、任务闭环意义上的 OOD。另一个限制是 baseline 是作者在自有平台上的 SONIC recipe reimplementation，而非原 SONIC checkpoint 的 apples-to-apples 复现；claim 应理解为同平台 recipe-level comparison。

Limitation

方法成立依赖几个强前提。第一，残余失败必须能被少数人工假设的 capability classes 覆盖；dynamic/balance 是合理但不完备的划分，其他失败如 reference artifact、contact mismatch、actuator saturation、低频 sway 并没有被系统解决。第二，必须能训练 privileged experts 并进行大量 rollout evaluation；这使方法工程成本很高，不是轻量泛化方案。

第三，scalability 上限不清楚。作者自己承认 compute budget 相对有限；如果 SONIC-style baseline 在更大数据、更长训练、更强 sampler 下收敛，当前 residual bottleneck 是否仍然存在，文中未充分说明。也就是说，部分增益可能主要来自更复杂的 training infrastructure，而不是原则性能力突破。

第四，泛化 claim 需要谨慎。held-out tracking 提升存在，但它可能依赖 motion corpus 的覆盖和 DAgger 对 teacher behavior 的压缩；这更像行为库覆盖增强，不是 planning 或 reasoning 能力。所谓 capability alignment 可能在许多情况下退化为“为已知困难模式训练更合适的 expert，再蒸馏记忆”。

第五，RL fine-tuning 的作用有明显 trade-off：它改善 held-out/TIS/MPJPE，但可能降低训练集长尾 coverage。这个现象说明最终 policy 的目标并不完全等同于 residual recovery，也暴露了 coverage 与 generalization 之间的未解释张力。

第六，控制质量问题没有完全解决。Grad-CAPS/CAPS 处理的是高频 jitter，但低频 sway 仍存在；这说明把 smoothness 从 reward 移到 auxiliary loss 只是部分修复，可能还需要 reference correction、频域正则、相位稳定化或底层控制 damping。

Takeaway

• 1. 高覆盖 WBC 的下一个瓶颈不只是 scale，而是 acquisition recipe 是否与 motion capability 对齐；训练集失败本身可以作为诊断信号。
• 2. reward 中的“安全/物理约束”和“保守控制偏好”必须分开看。
• 把 effort/smoothness 直接放进 reward，可能牺牲 hard-motion acquisition；更好的做法可能是 tracking/feasibility 主导 reward，动作质量通过 policy/control 层正则处理。
• 3. Expert 的未来形态不应只是 motion cluster expert，而应是 capability expert：不同 expert 对应不同 dynamics regime、curriculum、regularization 或 contact assumption，然后再压缩成 deployable generalist。

一句话总结

Athena-WBC 是一篇把 humanoid WBC 长尾问题从“数据重采样/专家划分”推进到“训练 recipe 与控制能力对齐”的工作，真正贡献在于识别并干预 reward/curriculum 诱导的 capability bottleneck，而不是提出新的 RL 或 distillation 算法。