精读笔记
Problem Setting
这篇论文处理的是 whole-body humanoid loco-manipulation 的系统建模问题：如何让一个语言条件的视觉策略直接控制 humanoid 的全身自由度，而不是把腿部退化成移动底盘、把手臂当作唯一 manipulation actuator。真正困难不在于单个任务多复杂，而在于 humanoid 的 action space 同时承担 locomotion、posture adaptation、contact-rich manipulation 和 balance tracking；这些因素在 decoupled controller 中被人为拆开后，policy 根本看不到需要学习的 coordination structure。以前方法的主要卡点是 controller abstraction 太强：IK 管手、RL controller 管腿，高层只发导航和 root-height，导致可表达行为上限接近 wheeled dual-arm platform。关键矛盾是：whole-body action 必须足够 expressive，但 expressive action space 又会增加 teleop、learning 和 deployment 的难度。
Motivation
已有路线不够的原因不是缺少 humanoid 数据或更大的 VLA，而是缺少一个能把 full-body embodiment 暴露给学习系统的接口。作者的核心观察是，teleoperation interface 决定了 demonstration 的可表达空间；如果数据采集阶段就没有脚踩踏板、膝盖下蹲、腰腿协同这些自由度，后续模型不可能凭预训练补出来。另一个缺口是数据经济性：full-body teleop 太贵，不能为每个新物体、语言和局部 manipulation pattern 都重新采集完整行走轨迹。因此论文动机可以概括为：不是设计一个新 VLA 架构，而是找出 humanoid VLA 成立所需的系统 recipe——什么 action representation 可学，什么 prior 可迁移，什么便宜数据能补 coverage。
Core Idea
核心思想是把 humanoid loco-manipulation 重新组织成“高层 VLA 预测全身 joint-space reference，低层 controller 只做 tracking”的统一 imitation problem。相比 decoupled control，这改变了建模边界：腿、腰、躯干不再是 low-level controller 的隐变量，而是 VLA 的显式 action target；语言和视觉信号可以直接关联到下肢参与 manipulation 的动作，例如蹲下、脚踩、推抽屉、保持推车姿态。这个 inductive bias 很关键：它让策略学习的是可执行的全身运动片段，而不是 arm policy + navigation policy 的后期拼接。
另一个核心思想是利用非 humanoid manipulation VLA 的 prior，而不是假设 humanoid 必须从 humanoid data 预训练。论文的经验判断很强：跨 embodiment 的 robot manipulation prior 比 humanoid-specific pretraining 标签本身更重要。π0.5 的价值可能不是动作维度匹配，而是提供闭环 manipulation 行为先验——看见抓取失败、重新调整、再次尝试。这种 prior 在 humanoid joint-space action 上仍然有用。再通过 heterogeneous co-training，把 expensive whole-body data 用于 motion scaffold，把 cheap stationary / HuMI data 用于对象和语言覆盖；这本质上是把数据源按功能分工，而不是简单做 data scaling。
Method
第一，joint-space whole-body teleoperation 解决的是 expressivity 和 learnability 的同时约束。它直接采集机器人关节目标，而不是 SMPL 或稀疏 keypoints，核心变化是减少动作表示中的冗余维度，并保证 demonstration 与低层 controller 执行空间一致。SMPL 更像 human motion representation，但对 VLA 来说是高维、冗余、间接的监督，容易把 foot clearance、接近距离这类细节学坏。
第二，低层 controller 的作用被限定为稳定 tracking，而不是决策分解。0.2s future preview 不是论文主贡献，但它反映了一个必要平衡：tracking controller 需要足够平滑以维持 locomotion，同时延迟不能大到破坏 teleop 数据质量。这里的机制不是新算法，而是 demonstration distribution 被 controller latency 直接塑形。
第三，VLA adaptation 基本保留 π0.5 架构，只在 action/proprio interface 上做最小改造。重要的不是 weight surgery 或 action ordering 本身，而是实验说明这些 interface 细节单独看不是瓶颈；真正不可替代的是 robot-pretrained manipulation prior。proprioception 和 absolute action 的组合则提供了全身状态锚点，降低 closed-loop drift。
第四，heterogeneous co-training 的机制是把不同数据源分配给不同泛化轴：whole-body teleop 提供真实 locomotion-manipulation coupling；stationary same-embodiment teleop 提供新 manipulation motion；HuMI 主要提供新对象和语言 grounding。它不是通用的人类数据迁移方案，当前更像低成本 semantic augmentation。
Key Insight / Why It Works
最核心贡献不是某个模块，而是一个清晰的系统归因：humanoid VLA 的上限首先由 action interface 和 data interface 决定，而不是由是否在预训练中见过 humanoid 决定。joint-based whole-body teleop 有效，是因为它同时满足三件事：完整暴露全身自由度、动作空间与机器人执行空间对齐、维度比 human-pose representation 更低。这提供了 better inductive bias，而不只是更多数据。
π0.5 初始化有效的原因可能是 representation alignment + manipulation prior，而不是视觉语言理解本身。PaliGemma 有相近的 VLM 能力和相似 validation MSE，但真机抓取和 recovery 差很多，说明 offline imitation loss 没捕捉闭环纠错能力。这里值得迁移的 insight 是：robot pretraining 的价值可能体现在 rollout distribution 下的 error recovery，而不是 one-step action accuracy。
heterogeneous co-training 的有效性更像 data coverage，而不是真正的 compositional reasoning。motion-reuse held-out tasks 上 HuMI 成功，说明模型能把已有 motion scaffold 绑定到新 object/language；Pouring 失败说明当缺少 motion primitive 时，robot-free data 当前不能可靠注入新 skill。因此所谓泛化主要是 retrieval / recombination over covered motion manifold，不是从语言理解出新动作。
one-step generation 的失败也很重要：低 MSE 但真机差，说明 humanoid control 对 temporal smoothness、contact timing、closed-loop stability 极敏感。这里增益来源不清，但很可能不是简单 test-time compute，而是 multi-step generative action head 在输出分布上更平滑、更接近可执行 trajectory manifold。文中未充分说明这一点。
Relation To Prior Work
这篇工作处在 RT-2 / OpenVLA / π 系列 VLA 与 humanoid whole-body teleoperation / tracking controller 的交叉处。和 GR00T、Ψ0 的本质差异不是“也做 humanoid VLA”，而是它没有把 humanoid 数据混入预训练当作主要答案，而是把问题拆成 interface、prior、data-source 三个系统变量逐一验证。相比 decoupled humanoid stacks，它真正新增的是让 VLA 对 full-body joint action 负责，从而把下肢 manipulation 纳入 policy learning。
看似新的部分里，很多是已有思想重组：joint-space retargeting、motion tracking controller、π0.5 fine-tuning、UMI/HuMI-style data 都不是单独新概念。实质创新在于经验 recipe 和归因：证明 sparse/decoupled interface 会限制 policy 的可达行为；证明非 humanoid robot prior 比纯 VLM 更关键；证明 cheap data 在当前阶段主要补语义，不可靠补新 motion。这类贡献更像 systems paper / empirical recipe，而不是 architectural paper。
Dataset / Evaluation
HLM-12 的任务设计覆盖了四类能力：移动抓放、workspace extension、非手部身体部位作为 manipulator、环境约束下的 loco-manipulation。它比普通 tabletop manipulation 更能验证 whole-body native claim，尤其 Bottle Disposal、Toy Stowing、Shelf transfer 这类任务确实能暴露 decoupled controller 的表达瓶颈。真机评估是这篇论文的强项，partial progress scoring 也比 binary success 更适合长序列机器人任务。
但 evaluation 仍有明显限制。首先，全部实验在 Unitree G1 和固定室内任务族上，跨平台、跨场景泛化没有被验证。其次，多数 ablation 使用 4-task subset 和每任务 5 rollouts，噪声不小，很多 interface 微小差异不能过度解读。第三，system-level baseline comparison 不完全隔离变量：OpenHLM 同时换了 teleop interface、controller abstraction、action representation、data mixture 和 backbone adaptation，因此不能简单归因于 VLA 本身更强。第四，held-out tasks 很多是 motion reuse，新对象/语言泛化可能依赖已有 motion overlap；这支持 data-efficient extension，但不支持开放技能泛化。
Limitation
方法成立依赖几个强前提：有可用的高质量 whole-body teleop rig，有稳定的 motion tracking controller，有 skilled operator，且目标任务能被 joint-space imitation 覆盖。它没有解决 long-horizon planning；语言更多是任务选择和对象 grounding，未显示复杂状态机、失败重规划或抽象推理能力。所谓 long-horizon 成功更可能来自 demonstration trajectory manifold 覆盖，而不是形成了显式计划。
scalability 的上限在于 full-body teleop 仍是核心 motion source。HuMI 降低了对象和语言扩展成本，但对新 motion 不可靠；这说明 cheap data 目前没有真正替代 whole-body teleop，只是把问题从“每个任务全采”转移为“先采足 motion basis，再用便宜数据做 semantic binding”。如果任务需要新 contact mode、新平衡策略或新下肢 manipulation pattern，仍然要回到 expensive on-robot data。
增益归因也不完全清楚。OpenHLM 击败 GR00T / Ψ0 可能来自 better controller/action interface，而不是模型更优；也可能来自 demonstration quality 差异。validation MSE 失效和 one-step lower-MSE failure 暗示当前训练目标没有对齐真机稳定性，文中未充分说明机制。未来如果没有更好的 offline metric 和 causal ablation，这类 recipe 很难系统优化。
Takeaway
- 第一，humanoid loco-manipulation 的关键不是先堆 humanoid pretraining data，而是先把 action interface 做对；否则模型只能学习被 controller abstraction 允许的行为。
- 第二，robot manipulation prior 可以跨 embodiment 迁移，尤其是闭环纠错和 grasp recovery 这种 rollout-level prior；这比纯视觉语言预训练更重要。
- 第三，cheap human/robot-free data 当前最可靠的用途是 semantic grounding 和 object/language coverage，不应高估其教新 motion 的能力。
- 第四，未来真正值得做的是 humanoid-specific temporal/action architecture、可预测真机表现的 offline metric，以及能把 robot-free data 转成可靠 motion supervision 的 representation alignment。
一句话总结
OpenHLM 是一篇偏系统归因的 humanoid VLA recipe：它真正推动的是把 humanoid loco-manipulation 从 decoupled mobile-manipulation 建模转向 full-body joint-action imitation，并证明 interface alignment 与数据功能分工比单纯扩大 humanoid 预训练更关键。