精读笔记

Problem Setting

论文标题：ADAPT: Analytical Disturbance-Aware Policy Training for Humanoid Locomotion（arXiv preprint / 2026）。

这篇论文处理的是 humanoid 在 force-interactive locomotion 中的扰动感知问题：机器人走路时会被人推、拖、携带负载、与环境发生未知接触，策略需要在不依赖全身 F/T 传感器的情况下识别并补偿这些扰动。真正困难点不是生成一个能走的 gait，而是 disturbance 是开放集变量：位置、方向、幅值、持续时间、接触链路和动态特性都可能超出训练分布。

以前的方法卡在一个核心矛盾上：如果靠 domain randomization 覆盖扰动，鲁棒性提高但 tracking 精度和动作自然性容易下降；如果为具体任务加 force objective，迁移性差；如果从 proprioceptive history 学 force estimator，表示会绑定训练扰动分布，OOD 时容易失效。ADAPT 要解决的是这个 force representation bottleneck：策略缺一个能跨任务、跨扰动形态复用的外力/残差反馈通道。

Motivation

作者的关键观察是：humanoid 受到的未知外力、负载、摩擦和模型误差，都会在刚体动力学方程中表现为 generalized disturbance residual。这个 residual 不需要通过语义标注或 force sensor 获得，可以通过 momentum observer 从状态、控制输入和名义动力学中在线估计。

因此，缺的不是更大的 policy 或更复杂的 motion history encoder，而是一个物理上对齐的扰动观测。ADAPT 的动机是把 classical disturbance estimation 从监测/反馈控制工具转成 RL policy 的 observation modality。这个方向合理，因为它把“从运动后果中猜扰动”的学习问题，转化为“给出物理残差后学习如何响应”的控制问题，降低了策略需要隐式建模的部分。

Core Idea

核心思想可以概括为：用 analytical dynamics residual 给 RL locomotion policy 加一个显式 disturbance sense。策略不再只看 base velocity、IMU、关节状态和历史动作，而是额外看到一个按 floating-base 和关节坐标组织的 residual torque/wrench estimate。这个 signal 不是从数据中学出来的 latent，而是由 nominal robot dynamics 和 momentum observer 计算出来的。

本质区别在于建模方式：prior 多数是在策略内部隐式学习 disturbance latent，或通过更宽的随机化让策略对扰动不敏感；ADAPT 则把扰动作为一个物理结构化变量暴露给策略。它引入的 inductive bias 是“外部交互首先应解释为动力学残差”。这使得策略在遇到未见过的负载位置或扰动力度时，不必完全依赖训练时见过的状态轨迹模式，而可以基于 residual 的符号、幅值和通道位置作条件响应。

这也是它可能更 generalizable 的原因：残差空间由机器人动力学定义，而不是由任务数据分布定义。当然，这种泛化不是无条件的；它依赖 observer 输出在 OOD 场景下仍然可解释、延迟可接受，并且策略训练见过足够多 residual-to-action 的映射模式。

Method

ADAPT 的方法要点不是 PPO、MLP 或两阶段训练本身，而是三个机制。

第一，使用 generalized momentum observer 估计扰动。直接用 inverse dynamics 需要广义加速度，真机上数值微分会放大噪声；momentum observer 用 p=M(q)v 和辅助状态绕开 p dot 的直接测量，得到一阶收敛的 residual estimate。这解决的是扰动观测可用性问题。

第二，把估计扰动作为 actor observation。这里的关键变化是 policy 的反馈闭环多了一个 force-related channel：同样的姿态偏差，在有无外力、外力方向不同、负载位置不同的情况下，对应的最优动作不同；residual 让这些情况在 observation 上可分辨。否则 proprioception-only policy 必须从短历史中猜隐变量。

第三，用 effort-scaled normalization 对 residual 做尺度对齐。这个细节很重要，因为 generalized residual 的不同通道物理量纲和可控性差异很大。按 mg、mgl_ref、joint effort limit 缩放，相当于把扰动表达成相对机器人承载/执行能力的量，而不是原始牛顿或牛米。这更利于策略学习可迁移的响应规律。

light-step reward 是一个派生机制：用 leg joint residual envelope 作为触地冲击 proxy。它解决的是接触质量 reward 在真机上难直接测的问题，但它更像利用 ADAPT signal 的一个应用，不是主机制。

Key Insight / Why It Works

最重要的 insight 是：对于 locomotion policy，外部扰动不是必须作为 latent 从 history 中学出来；它可以通过 robot dynamics 被部分解析出来，然后作为低维但结构化的反馈进入策略。这是 better inductive bias，而不是单纯 scaling。

ADAPT 有效的主要原因有三点。第一，它改善了 observability。proprioception-only policy 看到的是扰动造成的状态后果，通常有延迟且混叠；observer residual 更接近扰动原因本身，尤其对持续拉力、负载和低频外力有效。第二，它改善了 representation alignment。residual 通道与 robot generalized coordinates 对齐，手部负载、躯干外力、关节误差会在不同通道形成不同模式，策略更容易学到全身补偿。第三，它降低了训练分布压力。策略不需要通过 domain randomization 覆盖所有外力组合，只需要学会对一类 residual pattern 做条件响应。

最可能的核心贡献是 analytical residual-as-observation 这一信息通道，而不是 PPO 训练流程。FAST-LIO root velocity 对真机效果可能很关键，但更像工程支撑；两阶段 disturbance curriculum 也可能贡献不少，但这属于让策略学会使用 residual 的训练 scaffolding。增益来源并非完全干净：ADAPT 相比 baseline 不仅多了 residual，也可能受益于更好的 velocity estimation、normalization 和扰动课程。文中有 normalization ablation，但没有充分拆开 observer input、curriculum strength、history length、root velocity quality 等因素。

需要直说的是，这里的“泛化”主要是 residual-space 泛化，不是高层任务泛化。它并没有学会理解 contact semantics，也没有规划长期交互；它是在低层控制中更早、更结构化地感知外界力学不一致。所谓 force-aware behavior 更像 reactive compensation，而不是 reasoning。

Relation To Prior Work

ADAPT 最接近三条技术谱系的交叉：learning-based humanoid locomotion、force-aware/contact-rich policy learning、classical sensorless disturbance observer。

和 broad domain randomization 相比，ADAPT 的不同点不是更强随机化，而是提供了可解释的扰动状态。domain randomization 让 policy 对扰动不敏感；ADAPT 让 policy 对扰动有条件响应。前者倾向于保守鲁棒，后者理论上能同时保持 tracking 和补偿。

和 task-specific force-aware policy 相比，ADAPT 不把 force 目标写进具体任务 reward，而是提供通用 residual observation。因此它更像一个可插拔 perception/control interface，而不是为 pushing、carrying、compliance 单独设计的 controller。

和 learned force estimator 相比，ADAPT 的实质差异是 estimator 的来源：不是从 history 到 force 的监督/自监督映射，而是由动力学约束导出的 analytical observer。这使得其 OOD claim 更可信一些，因为 estimator 不直接依赖训练扰动分布；但它同时继承了模型误差、带宽和传感噪声问题。

和 classical momentum observer/MOB-Net/BeyondMimic 相关工作相比，新意不在 observer 本身。momentum observer 是成熟思想。实质创新是把 observer residual 作为 RL policy 的显式 observation，并进一步用于 reward shaping；也就是把 classical model-based residual channel 纳入 learned whole-body control 的感知闭环。

Dataset / Evaluation

评价覆盖了 Unitree G1 的仿真和真机，包含三类关键场景：已知注入关节扰动验证 observer，躯干外力/站立拉拽验证抗扰，单侧手部负载验证 OOD asymmetric loading。这个组合基本能支撑论文的核心 claim：analytical disturbance feedback 能提高低层 humanoid locomotion 的扰动鲁棒性，并且在部分未见扰动强度或负载条件下比 proprioception-only baseline 更稳。

但 evaluation 的范围仍然偏 reactive locomotion。扰动大多是持续力、准静态负载或人工拉拽，频率不高；这正好适合低通滤波后的 momentum observer。对于 impulsive contact、多接触 manipulation、脚底复杂地形接触、手部主动施力任务，文中没有充分验证。light-step 的评估也主要使用 observer residual envelope，而不是真实接触冲击力，因此它证明的是 residual shaping 能改变 gait/contact signature，但是否严格减少物理冲击还需要更直接的 force plate 或足端力估计证据。

总体上，实验支持“ADAPT 是一个有效的 disturbance-aware locomotion augmentation”，但还不足以证明它是通用 force-interactive humanoid control 方案。

Limitation

ADAPT 的核心前提是名义动力学和状态估计足够好。observer 需要 M(q)、bias term、motor command、root velocity；任何一项不准都会进入 residual。由于 residual 是 lumped disturbance，它混合了外力、摩擦、关节建模误差、电机跟踪误差、地面冲击和传感噪声。策略看到的并不是纯外部 force，而是整个系统不满足名义模型的误差信号。这既是优点，也是风险：它能补偿各种未知项，但也可能学到对模型误差的特定偏置，影响跨机器人、跨硬件状态迁移。

observer 带宽是硬上限。文中使用低通滤波并承认对 fast-varying disturbances 有延迟，这意味着它天然更适合慢变外力和负载，而不是瞬时冲击。对于 humanoid，脚地接触本身就是高频、非光滑事件；把所有快变项 lump 到一个 residual 里，可能让策略变保守。论文的实验证据没有充分覆盖这种极端情况。

增益归因仍不完全清楚。baseline 是 proprioception-only，但 ADAPT 同时引入 residual、effort scaling、扰动课程和 LIO-based velocity pipeline。文中未充分说明如果 baseline 也获得更强 history encoder、latent estimator、同样 normalization 或更强扰动 curriculum，差距会缩小多少。可能有一部分提升来自 engineering / scaling，而非 observer 这个单点。

此外，ADAPT 不解决高层任务规划和 contact intent。它只能告诉策略“动力学上哪里不对”，不能告诉策略这个接触应该抵抗、顺从、利用还是终止。对于需要主动施力、力闭环目标或人机交互意图理解的任务，还需要额外任务层和语义层。

Takeaway

• 1. 最值得迁移的思想是：把 analytical residual 当作 learned policy 的 observation，而不是只用于传统反馈控制或安全监测。
• 这类 hybrid interface 可能比继续堆 history encoder 更稳。
• 2. 对于机器人学习，OOD 泛化不一定来自更大数据覆盖；也可以来自把隐变量投影到物理上对齐的 residual space。
• ADAPT 是一个典型例子：用模型结构减少学习负担。

一句话总结

ADAPT 是把 classical momentum-based disturbance observer 变成 RL humanoid policy 显式感知通道的一类 hybrid model-based/model-free 演化，真正贡献在于用物理残差重构扰动信息流，而不是提出新的 locomotion policy 架构。