精读笔记
Problem Setting
HANDOFF: Humanoid Agentic Task-Space Whole-Body Control via Distilled Complementary Teachers（arXiv preprint / 2026）处理的是 humanoid loco-manipulation 中 planner 到 whole-body controller 的接口问题。论文真正关心的不是“让 G1 会抓东西”本身，而是高层 planner 到底应该给低层控制器什么命令。
现有 WBC 往往默认 planner 能提供 dense kinematic reference：全身关节轨迹、keypoint stream、上肢 joint target 或 motion clip。这在 teleop/mocap/imitation setting 里成立，但对 language planner、VLM planner、几何 task planner 并不自然。planner 能稳定产生的是“走到某处、降低身体、把手伸到 pelvis-frame 某点”，而不是 50Hz 的 29-DoF 动态可行轨迹。
关键矛盾是：如果接口高维，controller 表达力强但 planner 不可用；如果接口低维，planner 可用但 controller 容易退化成 locomotion policy + IK arm，不具备全身协调和动态可行性。HANDOFF 试图在这个矛盾中找到一个实用折中：10-D 显式 task-space command，同时通过训练时蒸馏保留 motion-tracking WBC 的全身先验。
Motivation
作者的动机来自一个很实际的缺口：humanoid controller 的能力常常被 runtime reference interface 锁死。很多 expressive WBC 只有在有人提供 dense motion stream 时才 expressive；一旦上层换成 VLM 或 task planner，就必须重新引入 retargeting、IK、motion library 或 per-task policy，系统模块化被破坏。
论文的核心观察是：planner-facing command space 比 policy architecture 更关键。一个 controller 是否可用于 real-world agent，不取决于它能不能 track mocap，而取决于上层是否能可靠合成它的输入。HANDOFF 因此把问题从“如何学一个更通用 motion tracker”转成“如何让低维 task command 激活高维 whole-body behavior”。
缺的不是又一个 teacher，而是把不同 teacher 的适用域用一个显式 context 组织起来：motion data 给姿态和 manipulation prior，locomotion reward 给速度可控性，recovery data 给跌倒状态覆盖。单一训练范式无法同时覆盖这些 regime。
Core Idea
论文的核心思想是：运行时接口低维化，训练时监督高维化。planner 只输出 base velocity、root height、bilateral wrist targets；而全身协调、步态稳定、手臂姿态、恢复动作都来自训练阶段多个 specialist teacher 的 KL supervision。换句话说，高维 motion reference 没有消失，而是从 runtime input 变成 offline prior。
这引入了一个很强的 inductive bias：不同身体部位和不同运动 regime 应该由不同 teacher 主导。腿部在移动时更相信 locomotion teacher，在静止/下蹲/伸手时更相信 WBC teacher；手臂始终靠 WBC motion prior；跌倒时由 recovery teacher 接管。这比简单 reward mixing 或 policy averaging 更合理，因为 teacher conflict 被显式局部化到了 action slice 和 context 上。
和 prior 的本质区别是：HANDOFF 不要求 planner 提供外部上肢关节参考，也不把 task semantics 压成不可解释 latent action。它选择一个显式、几何上可解释的 command space，并用 distillation 填补低维 command 到高维 motor behavior 之间的缺失信息。
Method
方法最重要的是 context-conditioned action-sliced KL distillation。学生策略接收 10-D command 和 proprioception history，输出 29-DoF action。训练时同时受 PPO task reward 和多个 teacher KL 约束。
body slice 的 KL 在 WBC teacher 和 locomotion teacher 之间按 commanded velocity magnitude 连续切换。这个设计解决的是 motion-tracking teacher 不擅长 velocity tracking、locomotion teacher 不擅长全身 manipulation posture 的冲突。它的核心变化是把“何时该像谁”显式编码进 loss，而不是指望一个 teacher 或一个 reward 自动学出这种分工。
arm slice 由 WBC teacher anchor，因为 wrist target 本身不足以约束肘、肩、躯干等冗余自由度。没有这个 prior，低维 hand-position reward 很容易得到奇怪姿态或动态不可行解。这里真正起作用的是 motion data 提供的 redundancy resolution。
recovery teacher 通过 binary recovery mask 接管 full action。这个分支解决的是普通 locomotion/manipulation distribution 中几乎没有 mid-fall state 的问题。恢复能力不是由 controller 泛化出来的，而是由专门覆盖 fallen states 的 AMP teacher 蒸馏进去的。
MoE student 提供容量和 mode separation。它不是简单 runtime switching，因为最终部署仍是单 policy；但从机制上看，它仍然依赖 routing loss 防止 expert collapse。CoP filtering 和 stability rewards 是重要工程补丁：前者清理动态不可行 squat 数据，后者改善 balance/workspace feasibility，但它们不是接口思想本身。
Key Insight / Why It Works
这篇论文最重要的 insight 是：低维 planner interface 本身会制造 supervision conflict，因此必须按 context 和 action slice 组织 teacher，而不是做全动作空间的单一 imitation。
为什么有效？第一，10-D command 刚好覆盖了多数 tabletop-style humanoid loco-manipulation 的可控自由度：移动、转向、下蹲、左右手到达。它不是通用 manipulation interface，但对论文展示的任务族足够。
第二，motion-tracking teacher 本质上在提供 implicit IK + posture prior + whole-body coordination prior。wrist position reward 只告诉手到哪里，不告诉身体如何配合；这个缺失信息由 human motion dataset 填充。因此 HANDOFF 的 manipulation workspace 很大程度来自数据中学到的 redundancy resolution，而不是 10-D command 自身的表达力。
第三，locomotion teacher 把 base velocity controllability 从 motion data distribution 中解耦出来。motion imitation policy 通常只能复现 clip 中的速度分布，不能做任意 commanded velocity tracking；单独加 locomotion teacher 后 velocity tracking 改善是合理且关键的。
第四，recovery 能力是 coverage injection，不是 emergent robustness。AMP teacher 覆盖 fallen/recovering states，学生通过 masked KL 学会在该 regime 行动。这个能力如果没有专门 data/reset distribution，几乎不会从常规 task reward 出现。
我认为最核心贡献是“planner-friendly interface + context/action-sliced teacher distillation”的组合，而不是 MoE、VLM planner 或 agentic demo。MoE 是有用的容量/路由实现；VLM planner 是展示接口可被上层驱动；stability reward、CoP filter、domain randomization 更多是使真机可用的 engineering。
也要注意，论文的成功并不证明低维接口可以覆盖一般 humanoid manipulation。它证明的是：在前方 reach/pick/place/hand-off 这类任务中，如果训练时有足够好的 motion/locomotion/recovery specialist，低维 task command 可以作为一个实用 runtime abstraction。
Relation To Prior Work
这篇位于 motion-tracking WBC、task-command locomotion controller、multi-teacher distillation 三条线的交叉处。
相对 SONIC/TWIST2/ExBody/HOVER 这类 dense-reference motion tracking，HANDOFF 的差异不是全身控制能力更强，而是 runtime reference 更可合成。它把 dense motion reference 从 planner burden 变成 teacher prior，这是本质差异。
相对 HOMIE/FALCON/AMO 这类 compact locomotion command + upper-body reference/IK 的方法，HANDOFF 的新增信息是上肢不再需要外部 joint kinematic reference。wrist target 由 policy 原生消费，动态可行性和下肢补偿在训练中一起学，而不是 runtime 外接 IK 再希望下肢 policy 扛住扰动。
相对 VLA/VLM/latent verb 类系统，HANDOFF 更保守也更工程有效：它不相信 latent action 能自然对齐机器人动力学，而是提供一个显式 task-space contract。这个选择牺牲开放表达力，但显著提升模块化和 debugability。
相对已有 specialist-to-generalist distillation，HANDOFF 的新意不在“多 teacher 蒸馏”本身，而在 teacher heterogeneity 的来源：不是同一 motion manifold 的 clusters，而是 compact interface 下不同控制 regime 的冲突。action-sliced/context-gated KL 是这里的实质创新点。
Dataset / Evaluation
数据侧主要依赖三类 teacher coverage：retargeted everyday motion clips、flat-terrain locomotion curriculum、curated fall-recovery sequences。论文没有声称从零学出 manipulation，而是复用已有 specialist 数据和 reward regime。
评估覆盖了 velocity tracking、bilateral wrist workspace、fall recovery continuation 和真机任务 rollout。对核心 controller claim 来说，velocity + robust workspace 是合理指标，因为它们分别检验移动可控性和低维 wrist target 的可执行范围。真机展示说明该接口可以接入 VLM/waypoint planner 并在 Unitree G1 上跑通多种任务。
但 evaluation 也有明显限制。workspace 主要是前方半空间、position-only wrist target、容许 15cm 误差，不能说明精细 manipulation。baseline 需要外接 differential IK adapter，这使比较更像接口适配能力比较，而不是纯 policy 能力比较。agentic rollout 没有严谨成功率、长时任务统计或跨环境泛化评估，因此只能支持“可部署 demo”，不能支持强 open-world agent claim。
总体上，实验支持“这个接口对一类前方 tabletop loco-manipulation 足够实用”，但不足以支持“通用 humanoid agentic manipulation controller”。
Limitation
最根本限制是接口表达力。3D pelvis-frame wrist target 无法表达手腕姿态、接触策略、抓取约束、力控、工具 affordance，也无法处理复杂非刚性或遮挡场景。runtime kinematic correction 实际是在补接口缺口。
第二，能力边界由 teacher 覆盖决定。所谓 generality 很大程度是把多个已有 specialist 压到一个 policy；如果任务需要 terrain adaptation、heavy load、contact-rich pushing、clutter manipulation，就需要新 teacher。论文说可以 plug in，但文中未充分说明 teacher 数量增加后 routing conflict、负迁移和 credit assignment 如何控制。
第三，planner 能力被展示得偏乐观。当前 agentic planner 更像 regex/LLM decomposition + VLM detection + waypoint servo + skill template，不是强自主规划。长期状态、失败恢复策略、object permanence、multi-object dependency 都没有被系统验证。
第四，增益归因不完全清楚。CoP filtering、stability reward、randomized arm perturbations、domain randomization、payload modeling、IK baseline adapter 都会影响最终结果。尤其 workspace 提升可能混合了 better inductive bias、data prior 和 stability engineering，论文没有完全拆干净。
第五，真实泛化还未被证明。任务基本落在前向视觉、桌面/地面 pick-place、hand-off 这类高度结构化场景。跨房间、遮挡、多阶段 manipulation、不同物体几何和不同接触条件下是否仍成立，文中没有足够证据。
Takeaway
- 1. 最值得迁移的不是 10-D 的具体数值，而是“runtime interface 低维显式化，training supervision 高维专家化”的设计模式。
- 对很多 embodied control 问题，这比端到端 latent action 更可控。
- 2. 多 teacher 蒸馏真正有用时，必须处理 teacher regime conflict。
- 简单平均 teacher 往往会毁掉能力；context-conditioned、action-sliced supervision 是更可扩展的组织方式。
一句话总结
HANDOFF 是一篇把 humanoid whole-body control 从 dense motion-reference runtime 接口推进到显式 task-space planner interface 的工作，其核心贡献是用 context/action-sliced multi-teacher distillation 把 motion、locomotion 和 recovery priors 压进一个可由 planner 驱动的单一低维控制器。