精读笔记

Problem Setting

[ReactiveBFM: Reactive Closed-Loop Motion Planning Towards Universal Humanoid Whole-Body Control]（arXiv preprint / 2026）

这篇论文实际在解决 humanoid whole-body control 中一个很具体但关键的问题：当低层 BFM 已经能稳定追踪 reference 后，如何让高层 reference 不再是一次性生成的 open-loop motion，而是能根据真实执行状态持续修正的 closed-loop plan。

真正困难点不在于生成一段好看的动作，也不在于训练一个更强 tracker，而在于二者耦合后会产生新的分布偏移：planner 训练时条件是 ground-truth prefix，部署时条件是 tracker 实际执行后的状态，里面包含 tracking lag、扰动恢复、姿态偏差、命令切换和延迟。这个偏差会被 AR 生成递归放大。

以前路线卡在两端：motion generation 端多是离线合成或 keyframe in-betweening，默认世界不会中途改变；universal tracker / BFM 端虽然鲁棒，但只负责执行输入 reference。关键矛盾是：reactive control 要求 planner 频繁读真实状态并重规划，而 generative planner 的训练范式又默认历史状态是干净的。ReactiveBFM 的目标就是消掉这个矛盾。

Motivation

作者的核心动机是：现有 BFM 已经把“如何执行”做成一个强 prior，但还没有解决“下一段 reference 应该基于什么状态生成”。如果 reference 仍来自离线 motion generator，那么 BFM 只是在强行追踪一个已经和物理现实脱节的轨迹。

已有 closed-loop character-control / diffusion-control 工作给了方向，但大多停留在 simulation 或没有处理真实 humanoid 系统的频率、延迟和 tracking discrepancy。这里缺的不是一个更大的文本动作模型，而是一个能在真实控制闭环里工作的 planner training protocol 和 runtime protocol。

作者最重要的观察是：闭环 humanoid planning 的核心 failure mode 是 cumulative exposure bias，而不是单帧 motion quality 不够。只要 planner 没见过“自己生成、controller 执行后、被扰动污染”的 prefix，它部署时就会在真实状态上失稳。

Core Idea

核心思想是把生成式 motion planner 的条件变量从“理想历史轨迹”换成“机器人实际 proprioceptive history”，并在训练时显式制造这种非理想历史。Scheduled prefix sampling 的作用不是普通 data augmentation，而是把 planner 的训练分布向部署分布移动：模型必须学会从自己前几步生成的、有噪声的、可能偏离 ground truth 的状态继续生成可执行 motion。

这引入了一个很明确的 inductive bias：motion planning 被建模为局部状态恢复与 continuation，而不是完整轨迹合成。相比 open-loop generator，它更像一个 learned receding-horizon policy，只不过输出的是 reference chunk 而不是 torque/action。

本质区别在于信息流闭合了：状态误差不再只由 low-level controller 消化，而会反馈到 high-level generator，影响下一段 whole-body reference。这个结构天然更 scalable，因为低层 BFM 继续提供大规模运动执行 prior，高层 planner 只学习在 compact state space 中做语义条件下的短时重规划。

Method

最关键的机制是 scheduled prefix sampling。早期 teacher forcing 用来稳定学习 motion manifold，随后逐步降低 ground-truth prefix 概率，让模型用 self-rollout prefix 训练；再加噪声模拟 tracking discrepancy。这直接解决 planner 在部署时看到 imperfect physical state 的问题，是论文最核心的训练机制。

Compact representation 的必要性在于闭环系统中 feature 越冗余，误差累积路径越多。作者只保留 root translation、root quaternion 和 29DoF joint positions，避免 contact label、velocity 等 derived feature 在生成与执行之间不一致。这个选择牺牲了一些显式动力学信息，但换来更稳定的 representation alignment。

Temporal regularization 和 condition dropout 主要服务于 streaming control。前者降低 chunk 边界和重规划边界的速度/加速度不连续，后者避免 planner 过度依赖某个条件模态，并让命令切换不至于直接造成 motion discontinuity。它们不像 prefix sampling 那样是核心理论点，但对真机部署很必要。

异步 replanning + trajectory chunking 是系统成立的运行时机制。AR diffusion planner 不可能和低层控制同频，因此 planner 低频生成 40-frame chunk，controller 高频执行；overlap prediction 通过 temporal ensembling 平滑。这里解决的是 real-time systems problem，而非 motion modeling problem。

Key Insight / Why It Works

我认为真正有效的原因有三层。

第一层是 representation alignment。Planner 的输出空间直接对齐 BFM 可追踪的 proprioceptive reference，而不是先生成 human motion 再 retarget，也不是输出过度丰富的 kinematic descriptor。这减少了 planner-controller 之间的接口误差。dense representation 消融变差说明这一点不是装饰。

第二层是 curriculum 对 exposure bias 的修正。Self-rollout prefix 是最像“核心贡献”的部分，因为它把训练分布从 teacher-forced clean trajectory 推向 deployment-time corrupted trajectory。w/o self-rollout 掉到接近 open-loop baseline，说明闭环性能主要不是 diffusion backbone 带来的，而是 planner 学会了在自己制造的误差上继续规划。

第三层是 receding-horizon test-time compute。ReactiveBFM 的“反应性”很大程度来自持续重规划，而不是一次生成中隐含了复杂长期策略。moving target reaching 尤其如此：egocentric reset 把动态目标追踪改写成重复求解静态 reaching。这个 insight 很实用，但也说明所谓 zero-shot dynamic generalization 并不一定代表模型学到了动态目标控制策略。

哪些可能只是辅助：temporal loss、condition dropout、chunk ensembling 更多是让系统不抖、不跳、不被命令切换打断，是 deployment polish；它们重要，但不是概念性突破。TensorRT、实时线程隔离、4090 off-board compute 显然属于 engineering/scaling。

哪些可能来自 scaling / data：BFM 预训练用了极大规模 motion frames，planner 数据经过物理清洗，并额外合成 reaching 数据。论文没有完全隔离这些因素，因此 93.1% success 不能简单归因于 ReactiveBFM 的训练策略。核心能力可能相当一部分来自数据覆盖、BFM tracking robustness 和 curated physically-valid motion manifold。

Relation To Prior Work

它最接近三条线的交叉：text / diffusion motion generation、closed-loop character control、universal humanoid tracking / BFM。和 TextOp、DARTControl、MDM 类方法相比，它的实质差异不是生成模型更强，而是训练和部署都围绕真实 proprioceptive prefix 闭环组织。和 SONIC / BFM 类 tracker 相比，它补的是 high-level reactive reference generation，而不是 low-level policy。

看似新的部分里，有不少是已有思想在 humanoid deployment 中的重组：scheduled sampling 来自 sequence modeling，trajectory chunking / temporal ensembling 来自 ACT / Mobile ALOHA，receding-horizon replanning 是控制系统常识，condition dropout 是多模态生成常规做法。论文的价值在于把这些机制组合到 humanoid whole-body BFM pipeline，并证明在真机扰动下能跑。

实质创新更偏系统与训练范式：将 AR diffusion planner 训练成能吃 imperfect physical prefix 的 closed-loop replanner，并与冻结的大规模 BFM tracker 形成层级闭环。这不是端到端 RL，也不是纯 motion synthesis，而是“生成式 receding-horizon reference planner + foundation tracker”的路线。

Dataset / Evaluation

数据覆盖相对扎实：AMASS/HumanML3D、100STYLE、Kungfu、Humanoid-Union 类数据，再加 PhysHSI-Reach 合成 reaching，且强调物理清洗。这支持多样 motion prior 和 reaching prior，但也意味着模型的泛化上限很可能被数据 manifold 明确限定。

Evaluation 的强项是真机演示与系统级扰动评估。它没有只报离线 motion metrics，而是评估 planner-controller 闭环在外力、命令切换、moving target 下的表现，这确实对核心 claim 更相关。

但 evaluation 也有明显边界。moving target reaching 只用 compact 3D target + Vive localization，环境基本是空场景，不涉及视觉不确定性、遮挡、物体接触或任务级约束。所谓 zero-shot 是对 dynamic target 没训练，而不是对 reaching 任务没训练；它依赖已有 static reaching 数据和 egocentric reset trick。

benchmark 是否完全验证“universal humanoid whole-body control”还不够。它验证了 reactive closed-loop motion execution，比 open-loop cascade 更稳；但没有证明长期任务规划、复杂环境泛化、接触丰富操作或语义推理能力。

Limitation

最核心的隐含前提是：低层 BFM 必须足够强，能把 planner 给出的 reference 稳定落地；否则 closed-loop planner 看到的 prefix 会更脏，scheduled sampling 也未必覆盖。换句话说，ReactiveBFM 把一部分困难从 planning 转移给了大规模 tracking foundation model。

第二个前提是任务状态必须能被 compact proprioception + text + target position 表达。对于需要视觉 grounding、物体状态估计、接触力反馈或多实体交互的任务，这个状态表示明显不够。作者也承认 HOI / tactile / vision 未覆盖，但这不是小扩展，而是会改变 planner 的状态空间和误差传播方式。

第三，泛化可能没有表面看起来那么强。Dynamic reaching 的成功依赖把动态目标局部化成静态 reaching 子问题；这是一种很好的 coordinate trick，但不是复杂策略泛化。若目标运动更快、需要预测、存在障碍或接触约束，当前方法可能只会频繁重规划而缺少长期 anticipatory planning。

第四，增益归因不清。BFM 规模、物理清洗数据、reaching 合成数据、global tracker、TensorRT runtime、asynchronous buffer policy 都可能贡献显著。论文消融覆盖了几个关键设计，但没有充分隔离 data scaling 与 controller scaling，因此“ReactiveBFM 方法本身”带来的增益仍有混合因素。

第五，planner 实际没有形成长期状态建模。它更像短 horizon corrective generator，通过高频重规划维持稳定；这对反应式控制有效，但不等价于 task-level planning。面对需要记忆、约束满足、策略切换和未来预测的任务，上限会很快出现。

Takeaway

• 第一，humanoid BFM 之后的关键问题不是再做一个更好的 tracker，而是让 reference generation 闭环化；planner 必须训练在真实执行状态分布上，而不是理想轨迹分布上。
• 第二，scheduled prefix sampling / self-rollout 是可以迁移的核心 insight：任何“生成式 planner + 物理执行器”的系统，只要存在 tracking discrepancy，就需要让 planner 在自己造成的错误上训练。
• 第三，compact state representation 在闭环生成控制里比 dense descriptor 更重要。
• 信息多不一定好，尤其当额外 feature 无法被 controller 精确实现或会在重规划中自相矛盾时。

一句话总结

ReactiveBFM 是把大规模 humanoid BFM 从 open-loop reference follower 推向 closed-loop generative replanning system 的一次有效系统化尝试，其真正贡献在于用 self-rollout curriculum 和异步 chunked replanning缓解 planner-controller 间的部署分布偏移，而不是提出一个全新的运动生成模型。