精读笔记

Problem Setting

这篇论文解决的不是一般 humanoid locomotion，也不是 motion imitation，而是“受扰后如何恢复到稳定、可继续跟踪命令的动力学状态”。关键矛盾在于：nominal gait 可以通过 task reward 或 kinematic prior 学到，但 push recovery 要求策略在很短时间内重分配 centroidal momentum、调整接触力、改变落脚/支撑时序；这些变量不是 joint pose style 的直接函数。以前 tracking-based imitation 的问题是 reference phase / pose 会限制受扰后的反馈自由度；AMP 缓解了显式 tracking，但仍然在 kinematic feature space 做 distribution matching，因此对真正决定 balance recovery 的 dynamics transient 约束很弱。ADP 试图把 prior 从“动作看起来像”改成“短时动力学演化像可行 locomotion”。

Motivation

作者抓住的缺口很明确：motion prior 在 humanoid 上常被用来补 reward shaping，但大多补的是运动学外观，而扰动恢复需要的是动力学闭环行为。外部 impulse 首先改变 CoM velocity、centroidal angular momentum、contact force 和 contact state；joint-level deviation 是更下游、更滞后的表现。因此 AMP 的 discriminator 即使能判断 motion style，也未必能给恢复过程提供及时、方向正确的 reward。ADP 的动机不是让动作更自然，而是让 prior 对 perturbation-sensitive variables 更敏感。换句话说，缺的不是更多 demonstration，而是 reference distribution 的坐标系错了。

Core Idea

核心思想是把 adversarial imitation 的对象从 kinematic trajectory distribution 换成 dynamics feature window distribution。SRBD TO 生成一组满足 CoM dynamics、contact force constraints、friction constraints 的 locomotion trajectories；这些轨迹不作为 pose reference，也不要求 policy 跟踪某个 phase，而是只提供一组 dynamics feature windows。训练时，policy rollout 产生同类 features，discriminator 判断它们是否落在 TO-derived dynamics support 上，policy 则通过 discriminator reward 被推回这个 support。

这改变了 prior 的建模方式：prior 不再描述“人形动作外观”，而描述“给定 command 下局部动力学演化是否像可行 locomotion”。本质区别在于 inductive bias 的位置。AMP 给策略一个 style manifold；ADP 给策略一个 contact-momentum manifold。后者对 perturbation recovery 更直接，因为恢复动作可以在 joint space 有很多实现方式，但可行的 CoM / momentum / force / contact 演化空间更受物理约束、更低维，也更接近 balance 的因果变量。因此它理论上更 scalable：不需要枚举 full-body pose reference，也不把策略锁死在某条运动学轨迹上。

Method

方法中真正必要的机制只有几个。第一，SRBD-based TO 用来构造 reference dynamics distribution。它解决的是 reference 数据必须具有基本物理约束的问题，但又避免 full-order TO / full-body tracking 的刚性；代价是 reference 只在 selected dynamics feature 上可靠。第二，feature representation 选择 CoM velocity、centroidal angular momentum、planar angular momentum rate、normalized foot contact forces、binary contact indicators，并放到 heading frame 下。这些变量对应 push recovery 的直接调节通道：速度误差、动量吸收、接触力调制、支撑相切换。第三，command 和 tracking error 被作为 discriminator condition，而不是普通 reward 项；这让同一 dynamics pattern 可以按 command 对齐，避免把不同速度/转向下的合理模式混在一起。第四，temporal window 是关键，因为单帧动力学量无法表达 contact transition 和 momentum recovery 的相位关系；窗口太短看不到恢复模式，太长又会放大 SRBD reference 与 articulated rollout 的 timing mismatch。第五，adversarial reward 替代显式 feature distance，核心变化是从“靠近某个均值/cluster”变成“落在 reference distribution support 内”。

Key Insight / Why It Works

最可能的核心贡献是 representation alignment，而不是 adversarial learning 本身。ADP 有效，是因为它把 reward 信号放在扰动恢复真正发生的变量上：impulse 直接打到 floating-base momentum 和 contact interaction，policy 如果能快速把这些变量拉回合理窗口，姿态和速度自然更容易恢复。相比 kinematic prior，dynamics prior 的 reward 更早、更密集、更接近控制因果链条。

第二个关键点是低维物理 manifold。Full-body humanoid state 太高维，joint-level style distribution 很容易把不重要的外观差异和重要的稳定性差异混在一起；ADP 只保留 CoM、momentum、force、contact，把 discriminator 的容量集中在 balance-relevant structure 上。这更像 better inductive bias，而不是 scaling。它不是通过更大模型或更多数据赢，而是通过换坐标系让同样的 adversarial machinery 看见正确变量。

第三，adversarial distribution matching 比 direct dynamics reward 更有效，可能因为 recovery behavior 是多模态的：不同 contact timing / force allocation 都可能合理。点式 Gaussian / cluster distance 会惩罚合法但不接近均值的恢复轨迹；discriminator 则更适合刻画 reference support 的非线性边界。不过文中没有充分证明 discriminator 学到的是稳定性相关 manifold，而不是利用 contact schedule / command-conditioned statistics 做近似分类。

消融里 contact indicator 的影响最大，这很有信息量：ADP 的收益可能很大一部分来自把 gait phase/contact timing 以隐式形式注入 policy reward。它不显式用 phase tracking，但 binary contact window 实际提供了类似 contact-mode prior。这不是坏事，但说明方法的核心未必是“动力学全部特征”，而是“contact-mode + momentum 的短时结构”。

Relation To Prior Work

ADP 属于 AMP / adversarial imitation prior 这条谱系，而不是传统 model-based MPC 或 online TO。它复用了 AMP 的基本训练形态：reference dataset、discriminator、style/prior reward、PPO policy；真正不同的是 discriminator feature space。从这个角度看，算法形式并不新，实质创新是把 adversarial prior 的对象从 kinematic style distribution 改成 command-conditioned dynamics window distribution。

和 DeepMimic / tracking imitation 的差异在于 ADP 不要求 phase-aligned pose tracking，因此受扰后策略有更多反馈自由度。和 AMP 的差异在于 AMP 学“看起来像 reference motion”，ADP 学“动力学演化像 physically grounded locomotion”。和 dynamics-guided RL / TO demonstrations 的差异在于 ADP 不把 TO 轨迹作为要跟踪的目标，也不把 TO 当 planner，而是把 TO 输出转成一个 reward prior。看似新的一部分其实是已有思想重组：SRBD TO、centroidal dynamics、adversarial prior、PPO 都是成熟组件；实质新增信息是把 TO-derived dynamics features 作为 adversarial support，并证明这对 humanoid push recovery 比 kinematic AMP 更对症。

Dataset / Evaluation

reference 数据覆盖 forward running、walking、turning、lateral stepping、backward walking 等 locomotion modes，并在相同 reference source 下比较 AMP 和 ADP，这个设计有助于隔离 feature representation 的影响。simulation evaluation 聚焦四方向 base impulse，基本对准论文 claim：扰动恢复。结果显示 ADP 在成功率、恢复时间和 velocity error 上都有明显优势，且 representation sensitivity analysis 支持“dynamics feature 更早暴露 perturbation”的机制解释。

但 evaluation 的边界也很明显。扰动是受控的 instantaneous velocity impulse，任务仍是相对标准的 command-following locomotion；没有证明在复杂地形、非周期接触、多步避障、推拉持续力或任务切换中仍成立。真机只给 qualitative demonstration，不足以支撑 strong sim-to-real robustness claim。AMP baseline 使用同一 TO-derived source 转 IK，而不是高质量 mocap-based AMP；这对 fairness 有利，但也限制了结论范围：论文证明的是“在同一 TO source 下 dynamics prior 优于 kinematic prior”，不是“ADP 全面优于最强 kinematic imitation pipeline”。

Limitation

最大前提是 reference dynamics distribution 必须覆盖 policy 需要恢复到的局部模式。若遇到 reference 未覆盖的 contact sequence、速度区域、地形交互或非典型扰动，ADP 可能把策略拉回错误 manifold，甚至抑制必要的创新恢复动作。所谓泛化更像 command-conditioned manifold retrieval，而不是显式 planning。

第二，SRBD reference 与 full-order humanoid rollout 之间有不可忽略的 gap。SRBD 保证的是 CoM/contact-force 层面的可行性，不保证关节力矩、姿态自然性、可达性或 full-body dynamic feasibility。ADP 有意避免 joint-level tracking，因此可能牺牲动作自然性；作者也承认未来需要结合 kinematic priors。

第三，增益归因不完全清楚。ADP 相比 AMP 同时改变了 feature type、conditioning、temporal window、reward geometry；相比 Dynamics Reward 又改变了 point-wise distance 到 adversarial support matching。文中消融说明哪些 feature 重要，但没有完全拆开“动力学变量选择”和“对 evaluation metric 更贴近”之间的关系。

第四，contact indicator 可能是隐藏的强监督。虽然没有显式 phase tracking，但 reference windows 含有 prescribed gait schedule，discriminator 可能强烈依赖 contact-mode pattern。若实际场景需要自发改变接触计划，固定 reference contact distribution 可能成为上限。

Takeaway

• 1. 对扰动恢复任务，prior 的坐标系比 prior 的形式更重要；把 discriminator 放在 joint style 上和放在 contact-momentum dynamics 上，得到的是完全不同的控制偏置。
• 2. TO 不一定要生成可跟踪的 full-body trajectory；它可以更有效地作为 low-dimensional physical support，用来塑造 RL 的 reward landscape。
• 3. humanoid robustness 的一个可迁移 insight 是：用短时 temporal windows 表达 contact-mode transition 和 momentum regulation，比单帧状态或 pose imitation 更接近恢复机制。
• 4. 下一步真正值得做的是 dynamics prior 与 kinematic / naturalness prior 的组合，以及在更开放接触、多地形和真实硬件上验证 reference support 是否仍能泛化。

一句话总结

ADP 是 AMP-style adversarial prior 从运动学外观匹配向动力学流形匹配的一次有针对性的迁移，真正贡献在于把 humanoid push recovery 的 reward 信号对齐到 contact、CoM 和 centroidal momentum 这些因果变量上。