精读笔记

Problem Setting

Predictive Style Matching: Natural and Robust Humanoid Locomotion（arXiv preprint / 2026-06-08）。

这篇论文实际卡住的问题不是“humanoid 会不会走”，而是一个更具体的 locomotion policy shaping 问题：在保持 task-only RL 的抗扰恢复能力和部署简洁性的同时，如何引入人类 whole-body coordination，尤其是上半身摆臂、腰部/躯干协调、步长步宽和 duty cycle 等风格约束。

关键矛盾是：自然性监督通常需要 reference，而 reference 一旦以时间/phase 形式进入训练或部署，就会在扰动恢复阶段变成反向力。恢复时机器人需要采取非 nominal 的腿部和躯干姿态，clip imitation reward 却仍要求它追某个 walking frame；这不是普通 reward weight tuning 能彻底解决的冲突，而是监督索引方式错了。

vanilla RL 的问题是 under-specification：速度、姿态、高度、滑脚、能耗等 task reward 并不唯一决定上半身和 gait rhythm，策略自然会收敛到 reward-compatible 但视觉上僵硬/不对称的局部最优。motion imitation 的问题则相反：监督太具体，导致 recovery freedom 被 reference 消耗。PSM 试图在这两者之间找到一个 operating point：用人类数据约束未充分指定的自由度，但不把整个身体轨迹绑定到某个时间索引参考。

Motivation

作者的核心观察是：人类运动数据并不必然损害鲁棒性，损害鲁棒性的是“把人类运动作为外部轨迹去追踪”。如果 style target 能根据机器人当前下肢状态和命令重新生成，它就更像一个局部协调先验，而不是一个必须回到的全局轨迹。

已有路线缺的不是更多 mocap，也不是更复杂生成模型，而是合适的信息流组织方式。clip tracking 有强监督但 reference 与当前恢复状态脱钩；AMP 去掉 reference clock，但给的是 full-state scalar discriminator score，既不可解释，也很难只让它约束上半身/步态这些非核心稳定自由度；diffusion/autoregressive motion model 可以生成丰富动作，但作为 massively parallel RL 内循环的 reward oracle 太重，而且输出不天然对应 named reward terms。

因此论文真正想补的缺口是：一个轻量、可解释、状态条件化、只在训练中使用的 style oracle。它既要从 mocap 学到人体协调，又不能在部署时改变 policy interface；既要有比 hand-crafted shaping 更强的 inductive bias，又不能像 tracking 那样强迫机器人回到某条 reference manifold。

Core Idea

PSM 的核心思想是把 style 从“轨迹监督”改写成“条件先验”。具体说，先离线训练一个 predictor：输入机器人 lower-body history 和 velocity command，输出当前/短未来应有的 upper-body joint targets 与 gait/body descriptors。然后在 PPO 训练中，把这些预测结果作为 reward matching target；部署时 predictor 丢弃，actor 仍然只看 proprioception。

这个变化的本质不是多加了一个网络，而是改变了 style supervision 的坐标系：prior work 多数在 clip time / phase 坐标中定义自然性，PSM 在 robot state 坐标中定义自然性。前者问“现在 reference 第几帧应该是什么姿态”，后者问“在你当前这种下肢运动和命令下，人类式上半身/步态通常应该是什么”。这使得 style reward 更局部、更随状态适配，也更不容易在恢复阶段和 task reward 硬冲突。

新的 inductive bias 是 lower-body-to-upper-body coordination：作者假设自然步态中，上半身摆动、腰部姿态、步宽/步长/duty cycle 可以由近期腿部运动、足端几何、root velocity 和 command 大致决定。这不是完整人类运动生成，而是对 locomotion 中未被 task reward 约束的自由度施加一个 conditional regularizer。它比 clip imitation 更 scalable 的地方在于部署不需要 reference management；比 AMP 更可控的地方在于 reward 可以分解到具体关节和 gait scalar。

Method

方法中值得保留的机制可以压缩成几个必要设计。

第一，离线 predictor 是 style oracle，而不是 policy component。它用 retargeted walking data 学 lower-body history/command 到 upper-body + gait targets 的映射。这样做解决的是 reward under-specification：task reward 不知道手臂、腰、步态统计该如何协调，predictor 提供了一个来自数据的局部目标。其核心变化是把 mocap 数据蒸馏成可查询的条件 reward，而不是把 mocap clip 直接塞进 policy observation。

第二，输出是 interpretable targets，而不是 latent code 或 discriminator score。上半身关节、步长、步宽、脚 pitch/yaw、root height、duty cycle 这些量可以直接进入 reward kernel，也能和评估指标对齐。这解决了 AMP 类方法 reward 信号不可分解的问题；同时也让作者可以有选择地约束 style 相关自由度，而不是用 full-body imitation 把恢复动作一起锁死。

第三，训练时只用当前预测的 k=0 target 做 matching，并且先 locomotion-only 再 ramp style reward。这个设计表面上是 curriculum，实质上是在确保 balance/recovery policy 先形成，再用 style prior 修饰其自由度。换句话说，PSM 的鲁棒性很可能不只来自 predictor state-conditioning，也来自这种训练顺序对 task objective 的保护。

第四，部署时不运行 predictor。这一点对真机意义很大：没有 phase estimation，没有 reference clip，没有额外 runtime conditioning channel，也没有 predictor 的分布外闭环误差。PSM 把复杂性集中在训练 reward 中，而不是部署控制栈中。

Key Insight / Why It Works

最关键 insight 是：自然性和鲁棒性的冲突不是不可避免的，冲突主要来自 style target 的“外部时间索引”。一旦 style target 改为由当前 lower-body state 条件化生成，它就不再要求机器人回到某个 nominal clip frame，而是对当前实际运动给出一个更合理的 upper-body/gait completion。这类似把 motion prior 从 trajectory prior 降维成 conditional coordination prior。

我认为真正有效的部分是 representation alignment：PSM 让监督信号的输入侧和 policy 当前状态对齐，输出侧和 reward/metric 中关心的 style 量对齐。输入不再是 phase，而是机器人自己产生的下肢状态；输出不再是全身 pose 或 scalar realism，而是可解释的上半身和 gait descriptors。这种对齐减少了 reward hacking 空间，也避免了把稳定性关键变量过度约束。

第二个重要原因是 freedom allocation。vanilla RL 已经擅长在扰动下找到可行恢复姿态；PSM 没有试图替代这部分能力，而是在 task reward 未充分约束的自由度上加局部 attractor。上半身摆臂和 gait timing 会影响整体自然性，但不应像 full-body clip tracking 那样支配恢复姿态。PSM 的 reward decomposition 正好符合这个分工。

不过需要直接指出：论文增益不应完全归因于 predictor。locomotion-first curriculum、pushes throughout training、matched randomization、显式 gait descriptor 工程、以及 attenuate hand-designed gait shaping，都可能是结果的重要来源。尤其是鲁棒性接近 vanilla，很可能来自先学稳再加 style 的训练策略，而不只是 state-conditioned target 的理论优越性。文中没有做足够 ablation 来分离这些因素。

这不是 test-time compute 方法，也不是 planner；也不是真正意义上的 generative control。更准确地说，它是 data-conditioned reward shaping / conditional imitation distillation。所谓预测更像局部 regression/retrieval：在 mocap-retargeted walking manifold 上，根据腿部状态补全上半身和步态统计。只要测试分布在这个 manifold 附近，它会很好；一旦进入 mocap 没覆盖的恢复状态、地形接触或非典型动作，predictor 是否仍是有益 prior 就不确定。

Relation To Prior Work

和 DeepMimic / ZEST / ASAP / BeyondMimic 这条 imitation/tracking 线最接近，但本质差别在 reference binding。tracking 方法把 motion data 作为要执行的轨迹，通常需要 phase/reference 输入，并且训练目标持续拉向该轨迹；PSM 把 motion data 蒸馏为状态条件化的 style target，训练中使用，部署时消失。因此它不是更好的 tracker，而是对 tracker 的监督形式做了去时间化和去部署化。

和 AMP 的关系也很清楚：AMP 把 motion prior 变成 discriminator reward，避免了显式 phase，但牺牲了可解释性和选择性。PSM 反过来保留 explicit per-quantity targets，使 reward 可以只作用在 upper-body/gait descriptors 上。这里的实质创新不是“用人类数据做 reward”，而是把 reward target 设计成 conditional, decomposed, interpretable 的 style completion。

和 diffusion / autoregressive character control 相比，PSM 明显更工程实用但表达力更窄。它没有尝试在运行时生成完整动作序列，也没有做长期 motion in-betweening；它只学了 walking domain 中 lower-body 到 upper-body/gait 的局部映射。优势是轻、可并行训练、易接入现有 PPO locomotion pipeline；劣势是没有真正的高层动作生成能力。

看似新的地方有一部分是已有思想重组：offline supervised motion model、reward shaping、curriculum、domain randomization 都不是新东西。实质新增的信息组织方式在于：用 predictor 把 mocap supervision 变成 state-conditioned train-time oracle，并且保持部署 actor 与 vanilla RL 同接口。这一点在 humanoid robustness/naturalness trade-off 上是有价值的。

Dataset / Evaluation

数据来自 BoneSeed walking subset，retarget 到 Unitree G1。任务覆盖主要是平地 walking velocity commands，包括 held-out walking clip velocities 和一些 scripted schedules。评估有 simulation batch，也有 G1 真机展示/代表性执行；这比纯仿真更有说服力，但真机覆盖看起来并不系统，更多是在支持 deployability，而不是完整统计验证。

实验设计的强点是 matched setup：vanilla、Tracking、PSM 在 MDP、observation、PPO、randomization、curriculum、disturbance schedule 上尽量一致。这个对核心 claim 很重要，因为它把差异主要归因到 style signal 的形式。结果趋势也符合机制预期：Tracking 在 nominal DTW 上最好，但扰动下 fall rate 明显高；PSM 的 style error 接近 tracking 方向，同时鲁棒性接近 vanilla。

但 evaluation 也有明显边界。第一，style metric 使用与训练数据同源的 reference clips 和 DTW，天然偏向 imitation/tracking 类方法，也可能高估“像数据集”的意义。PSM 能在这个指标上提升说明它学到了数据风格，但不等于主观自然性或跨数据自然性。第二，扰动主要验证 recovery compatibility，没有验证复杂地形、强 contact transition、非 walking skill。第三，Tracking baseline 是 single-reference/clip tracking，作者承认 universal tracker 不在 matched comparison 中；因此结论应限定为“相对显式 clip reference tracking”，不能泛化到所有 motion-conditioned humanoid controllers。

总体上，evaluation 足以支持 narrow claim：PSM 在 G1 平地 walking 中能缓解 naturalness-robustness trade-off。它不足以支持 broad claim：这是通用 humanoid natural motion prior。

Limitation

最深的限制是 predictor upper-bounds policy style。PSM 没有让 RL 自己发现更自然的协调，而是把 naturalness 定义为 predictor 能从 lower-body state 回归出的目标；predictor 错、偏、数据覆盖不足，RL 就会被错误 prior 拉偏。方法把 reward engineering 问题转移成 motion predictor 数据/retargeting 问题。

第二，state-conditioned 并不自动等于 recovery-safe。当扰动把 lower-body history 推到 mocap walking manifold 外，predictor 可能输出一个看似自然但对恢复无益的目标。论文结果说明在其 disturbance suite 中没有严重问题，但文中未充分说明 OOD lower-body states 下 predictor 行为，也没有显式 uncertainty gating 或 confidence-aware reward。

第三，泛化能力可能主要来自数据覆盖和任务限制。当前是 walking subset、flat-ground、G1-specific retargeting。跨机器人形态时，虽然作者说只需重建 predictor 和 matched joint subset，但这低估了 morphology 改变对 gait descriptors、arm-torso coupling、稳定策略的影响。不同腿长、手臂惯量、腰自由度都会改变“自然协调”的可实现集合。

第四，full horizon predictor 没有真正被利用。训练中只用 k=0 matching，说明方法目前不是 anticipatory style control，而是 instantaneous conditional shaping。未来若用 multi-step target，可能带来更强节奏先验，也可能重新引入对 recovery 的约束冲突。

第五，增益归因不清。PSM 的鲁棒性来自 state-conditioned target、curriculum、push randomization、reward weight schedule、gait descriptor choice 的混合。没有足够 ablation 的情况下，很难判断核心机制单独贡献多大。尤其“upper-body only already biases stepping rhythm”这个观察很有意思，但没有被系统展开。

Takeaway

• 1. 值得记住的不是某个 GRU predictor，而是监督索引方式的改变：motion prior 应该尽量绑定到机器人当前状态，而不是绑定到外部 clip time。
• 2. 对实际机器人 locomotion，train-time-only prior 是一个很强的设计模式：用复杂模型改善训练 reward，但部署保持 proprioceptive low-latency actor。
• 这比把生成模型或 reference manager 搬到真机闭环更稳健。
• 3. 可解释、分解式 style targets 在机器人控制里比 black-box realism score 更有工程价值：它允许只约束那些 task reward 欠指定、但又不应主导恢复的自由度。

一句话总结

PSM 是把 humanoid motion imitation 从“部署时追踪参考轨迹”推进到“训练时使用状态条件化风格先验”的一类方法，核心贡献在于重组人类运动数据进入 RL 的信息流，从而在平地行走中更好地兼顾自然性和抗扰鲁棒性。