精读笔记

Problem Setting

HALOMI 处理的不是传统 humanoid manipulation，也不是单纯 robot-free imitation，而是一个更窄但更关键的问题：如何让人类第一视角示教成为 humanoid loco-manipulation 的可扩展数据源。真正难点在于，人类示教天然包含 active hand-eye coordination，但这些数据并不能直接落到 humanoid 控制接口上。

以前路线大致有两种卡点。UMI/ActiveUMI/EgoMI 一类证明了 robot-free human demo 对 manipulation 有用，但平台多是 fixed-base 或 mobile manipulator，动态双足全身执行问题被弱化。HuMI/BifrostUMI 一类把 UMI 扩展到 humanoid，但通过 pelvis/foot 等 lower-body references 解决全身动作不确定性，这会增加采集负担，也把高层策略暴露在没有强视觉锚定的 lower-body prediction 上，长程容易漂。

这篇论文抓住的关键矛盾是：越想规模化采集，示教接口越应该只记录任务相关的头和手；但越只记录头和手，机器人执行时的全身运动越 under-specified。HALOMI 的问题设定就是在这个矛盾中寻找一个可执行接口：human demo 只提供 head-hand intent，humanoid controller 负责把它解释成稳定全身行为。

Motivation

作者的动机不是“humanoid 需要更多数据”这么泛，而是已有 robot-free humanoid demo 的动作接口不够理想。lower-body reference 虽然降低了控制歧义，但它不是任务最直接的因果变量，也不是视觉上容易监督的变量；让 VLA 长程预测 pelvis/foot 很可能是在预测一个弱语义、弱观测锚定、强 embodiment-specific 的量。

核心观察是：人类完成长程操作时，头部运动不是附属动作，而是策略的一部分。搜索目标、接近物体、抓取、搬运、放置这些阶段都通过 gaze shift 组织视觉输入。若只学习手轨迹而忽略 head trajectory，等价于把示教时的观测生成过程改掉，导致 deployment 时 policy 输入分布变化。

因此缺口是双重的：一方面，需要把 active perception 本身作为 action interface 的一部分；另一方面，需要一个足够强的 humanoid controller 来吞掉缺失的 lower-body 信息。HALOMI 的方向就是把“人类易示教的任务空间”和“机器人可执行的动力学空间”通过一个 constrained controller 接起来。

Core Idea

HALOMI 的核心思想是把 human-to-humanoid transfer 重写成层级接口设计问题，而不是端到端模仿问题。高层 policy 学的是人类示教中相对 embodiment-agnostic 的 head-hand trajectory：头部负责选择视角，双手负责物体交互；低层 controller 负责在 humanoid 自身动力学约束下补全躯干、腿和步态。这把任务语义和身体实现解耦。

更重要的是，底层不是普通 sparse target tracker，而是在 learned behavior manifold 上追踪。这个 inductive bias 很关键：同一个 head-hand target 有无数全身解，raw action RL 可能选择激进但短期 tracking reward 高的解；latent behavior prior 把解空间限制到自然、稳定、类人可行动作附近，使 sparse world-frame tracking 不至于退化成不安全的局部最优。

与 prior 的本质区别在于，它不再要求示教者提供 humanoid-specific lower-body intent，也不让高层策略学习 lower-body dynamics。它把 lower-body 从 imitation target 变成 controller latent completion 的结果。这是可扩展性的主要来源，也是方法成立的主要风险来源。

Method

方法层面只需要看三个机制。

第一，head-hand demonstration interface。它记录头部 6DoF、双手 6DoF 和 gripper width，并同步 ego-view 与 wrist-view。这个设计解决的是数据采集和任务语义对齐：头部轨迹提供 active perception 的监督，双手轨迹提供 manipulation 的 sparse action target。其核心变化是把示教数据从 humanoid motion capture 转成 task-centric reference，而不是让人类示教机器人全身。

第二，manifold-constrained whole-body controller。控制器追踪两只手的 6DoF 和头部位置，头部朝向由 3DoF active neck 解析控制。身体策略输出 BFM-Zero latent action，再由 frozen behavior model 解码成 joint commands。这里的必要性在于 sparse world-frame tracking 本身 under-constrained；latent manifold 相当于把 feasible humanoid behavior 当作先验，减少追踪器为了降低误差而产生不自然大动作的机会。

第三，human data processing。ego-view alignment 用深度重建/重投影/inpainting 把人类视角向机器人视角靠拢；reference trajectory adaptation 则在仿真中 rollout controller，估计执行轨迹和 reference 的偏差，再优化一个 residual trajectory，使机器人执行结果更接近原始人类 reference。前者处理 observation shift，后者处理 action execution shift。它们共同把 raw human demo 变成 robot-executable imitation data。

高层 VLA 只是把处理后的多视角图像和语言 prompt 映射到 relative head-hand action chunks。这个部分更像采用现有 VLA/UMI recipe，而不是论文最核心的新机制。

Key Insight / Why It Works

最重要的 insight 是：humanoid loco-manipulation from human demo 的瓶颈不是缺少一个更大的 policy，而是缺少一个合适的信息瓶颈。head-hand interface 正好是一个强信息瓶颈：它保留任务相关的 gaze 和 hand-object interaction，丢掉人类 lower-body motion 这种难迁移、强 embodiment-specific 的部分。这个选择让数据更可采，也降低了 VLA 输出空间的漂移风险。

第二个 insight 是把 sparse tracking 的多解性显式交给 latent behavior prior。普通 controller 在 sparse keypoint reward 下容易学到 reward hacking 式动作：快速靠近 target 但牺牲稳定性、自然性或安全性。manifold constraint 的贡献在于用先验结构裁掉大量不合理解。这里本质上是 better inductive bias，而不是单纯 scaling。

第三个 insight 是 controller-aware data adaptation：不要假设示教 reference 就是机器人将要执行的轨迹。高层 policy 如果学习不可精确执行的 target，会在闭环中积累系统误差。离线用 controller rollout 反推一个更可执行的 reference，本质上是在做 action label calibration。这个想法值得迁移到所有“human/robot demonstration label 与 execution dynamics 不一致”的场景。

但需要直接指出：系统成功很可能仍然大量依赖 data coverage 和硬件对齐。VLA 并没有显示出强 planning 能力；相对布局变化下失败说明它更像在示教分布内复现 head-hand trajectory templates，而不是进行组合式任务推理。active perception 的学习也可能部分是 trajectory memorization：在有限任务布局中，head motion pattern 与阶段强相关，模型复现 gaze choreography 就能提升表现。真正的开放场景 active visual planning 尚未被证明。

我认为最核心贡献是 sparse head-hand interface + latent manifold controller 这对组合。ego-view alignment 是必要工程补丁，但思想来自 EgoHumanoid；trajectory adaptation 有实用价值，但目前增益不大，更多像 execution calibration。高层 VLA 部分主要是复用现有 scaling 路线。

Relation To Prior Work

HALOMI 位于 UMI-style robot-free demonstration、egocentric active perception、humanoid whole-body control 三条线的交叉处。它最接近 HuMI/BifrostUMI/EgoHumanoid/HoMMI，而不是传统 humanoid teleoperation。

相对 HuMI 和 BifrostUMI，真正差异在动作接口：那些方法通过加入 pelvis/foot reference 来减少 humanoid execution ambiguity；HALOMI 则拒绝让人类提供 lower-body 信息，改由 manifold controller 从 head-hand targets 中补全全身运动。这个差异不是表面模块差异，而是关于“哪些变量应该被示教、哪些变量应该由 embodiment prior 生成”的建模选择。

相对 EgoHumanoid，HALOMI 继承了 view alignment 思想，但加入了更明确的 active head trajectory 和 controller-aware trajectory adaptation，并把执行端放在带 active neck 的双足 humanoid 上。view alignment 本身不是新东西，更多是必要迁移。

相对 HoMMI / ActiveUMI / EgoMI，HALOMI 的新增信息是把 active perception 从移动操作平台带到 humanoid sparse whole-body tracking 上，并处理了双足稳定性问题。相对 motion-prior humanoid controllers，HALOMI 的新意不是 latent prior 本身，而是把 latent prior 用作 human head-hand demonstrations 的执行桥梁。

所以它更像一篇系统集成式论文，但不是简单拼装：实质创新在接口选择与控制先验的耦合，而非每个组件单独发明。

Dataset / Evaluation

评价覆盖了真实 Unitree G1 上的多类任务：长程导航式取放、桌面 pick-and-place、双手毛巾搬运、下蹲抓取、动态抛掷。任务覆盖面比常规 tabletop imitation 更宽，且真机部署是强证据。定量任务每个约百条人类示教、每设置 20 次 rollout，规模不大但足以验证系统 feasibility。

实验最支持的 claim 是：在有限真实任务族内，head-hand sparse interface 加 active neck 可以驱动 humanoid 完成长程 loco-manipulation；ego-view alignment 和 active perception 对 transfer 很关键。尤其 active neck ablation 的掉点很大，说明 head motion 不是 cosmetic。

但 evaluation 对“generalization”的支持有限。所谓 OOD 主要是物体位置、柜子位置、毛巾外观变化；一旦相对目标布局发生变化，Pick Bread and Place 失败到 0/10，这直接暴露了 policy 的轨迹覆盖依赖。动态抛掷和下蹲抓取只有 qualitative，不足以证明鲁棒能力。controller tracking 的 adaptation 改善幅度不大，downstream success 提升也有限，增益来源不清。

整体看，实验验证的是一个合理系统在几个真实任务上的可行性，而不是证明了开放世界 humanoid active perception 或强组合泛化。

Limitation

第一，方法把问题从“采集 lower-body reference”转移到“训练一个足够强、覆盖足够广的 manifold controller”。如果 BFM-Zero latent space 不覆盖某类必要全身行为，head-hand target 再合理也无法执行。文中未充分说明 controller 的 feasible set 边界，也没有给出系统性的 failure taxonomy。

第二，scalability 不是免费的。人类示教采集变轻了，但仍需要 Lighthouse 精确追踪、手爪硬件一致性、头戴相机、机器人 active neck、仿真中 controller-aware adaptation。尤其 trajectory adaptation 是 controller-specific offline optimization，任务数量扩大后计算和维护成本会增加。

第三，泛化能力有限且主要依赖数据覆盖。相对布局变化失败说明高层 policy 不是在推理“把面包放到盘子”，而是在复现训练分布中的 head-hand relative trajectory。所谓 active perception 也可能是学习到阶段性 gaze templates，而非根据不确定性主动搜索。

第四，增益归因不完全清晰。ego-view alignment 的效果非常大，说明原始 human-to-robot observation gap 会导致系统性偏差；但这也意味着系统高度依赖图像重投影质量。trajectory adaptation 的 tracking error 改善只有小幅，是否是核心贡献存疑，可能主要是 smoothing / label calibration。

第五，world-frame tracking 依赖定位和坐标系稳定。论文提到 raw world-frame tracking 对 OOD targets brittle，但 HALOMI 仍在使用 world-frame head-hand targets，只是通过 latent prior 增强稳定性。若 real-world localization 或 calibration 漂移更大，系统上限可能会被坐标误差主导。

Takeaway

• 1. 对 humanoid robot-free imitation，最值得记住的是接口设计：不要盲目模仿 full-body，也不要让高层 policy 预测 weakly grounded lower-body variables；head-hand 可能是更合理的 task-centric bottleneck。
• 2. Sparse target tracking 必须配控制先验。
• humanoid 的全身多解性太强，raw action RL 很容易产生不安全解；latent behavior manifold 是一种有效的 inductive bias，未来很多 humanoid imitation 系统都会采用类似“高层 sparse intent + 低层 prior completion”的结构。
• 3. 人类示教到机器人执行不是单纯 observation alignment，还需要 action-execution alignment。

一句话总结

HALOMI 是一条把 UMI-style 人类第一视角示教扩展到双足 humanoid 的系统路线，其真正贡献在于用 head-hand sparse interface 和 latent-manifold whole-body controller 重新划分“人类示教什么、机器人补全什么”，但当前能力仍主要受数据覆盖、硬件对齐和控制先验边界限制。