精读笔记

Problem Setting

论文标题：GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation（arXiv preprint / 2026）。

这篇论文不是在追求一个更大的 VLA policy，而是在处理真实机器人 imitation learning 里的一个更结构化的问题：小规模 robot demos 下，如何让 manipulation policy 在长程任务、novel object/context 组合、以及 human video supervision 下仍然可执行。

真正困难点在于 flat visuomotor policy 把三个问题纠缠在一起：任务阶段选择、空间目标定位、机器人低层动作生成。只要环境或物体组合稍微变了，flat policy 需要在 action space 内同时重新解决“该去哪”和“怎么去”。这会导致两个典型失败：长程任务中早期小错误不可恢复；human video 即使提供了意图，也很难变成 robot action labels。

GHOST 抓住的关键矛盾是：human demonstrations 很便宜但不提供可靠 robot action；robot demonstrations 可执行但昂贵。需要一个中间变量既能从 human video 中抽取，又能被 robot controller 执行。论文选择的变量是 phase-boundary end-effector pose/keypoints。

Motivation

已有路线的缺口很明确。大规模 robot IL 可以靠数据覆盖泛化，但 teleop 成本高，且长程组合任务的数据需求增长很快。human video learning 则经常卡在 retargeting：从手到夹爪的动作映射既 noisy 又 underdetermined，尤其 contact timing 和 grasp geometry 很难稳定迁移。

作者的核心观察是：很多 manipulation task 的“可迁移信息”并不在连续动作里，而在阶段边界的空间目标里。例如 grasp 到哪里、place 到哪里、fold 的下一角在哪里、hammer 要对准哪里。这些 sub-goals 比动作更少依赖 embodiment，比语言更精确，比 latent plan 更容易监督和 debug。

因此论文想补的不是一个更强视觉 backbone，而是一个 human/robot 可以共享的 spatial abstraction。这个 abstraction 要足够具体，能驱动低层控制；也要足够抽象，能忽略 embodiment-specific action。

Core Idea

GHOST 的核心思想是用 3D end-effector sub-goal 作为 hierarchy 的信息瓶颈：high-level policy 只负责从视觉和语言中预测下一阶段末端执行器应该到达的空间姿态；low-level policy 只负责在机器人 embodiment 上执行到该目标。

这个建模方式改变了 imitation learning 的归因结构。flat Diffusion Policy 学的是 observation-to-action 的联合映射，所有泛化都压在动作生成网络上；GHOST 把泛化拆开：组合/选择/定位由高层承担，局部控制由低层承担。这样 low-level 学到的是可复用 skill primitives，高层学到的是这些 primitives 在新场景中的应用位置。

与 prior 的本质区别不在“用了 hierarchy”本身，而在中间接口足够物理化：不是 latent plan、不是 video prompt、不是语言子任务，而是可投影、可监督、可执行的 3D keypoint goal。这使得 human video 可以只监督 high-level，而不污染 low-level robot control。

Method

方法的关键机制可以压缩为三点。

第一，sub-goal 表示采用 end-effector keypoint set，而不是 SE(3) pose 或 action trajectory。它解决的是 human hand 与 robot gripper 的表示对齐问题。用 palm/fingertip/grasp center 对齐 gripper base/fingertips/grasp center，本质上是构造了一个近似 embodiment-agnostic 的几何接口。它不完美，但比 retargeting action 更稳。

第二，高层预测的是 3D sub-goal distribution。multi-view RGB-D + patch-wise GMM 的作用是把“目标在哪里”建模为空间概率分布，而不是从全局 latent 直接回归一个 pose。这个设计对多模态 demonstrations 和遮挡/歧义更合理，也让预测和图像局部 evidence 绑定。

第三，低层用 projected heatmap condition，而不是直接把 3D 坐标拼进 MLP。这个选择解决的是 image-based policy 如何消费 3D goal 的问题：heatmap 保留了 spatial alignment，让视觉 encoder 可以像处理图像一样处理目标位置。它相当于把 sparse 3D command 转成 dense 2D spatial affordance signal。

训练上，高层可混合 human 和 robot sub-goal supervision；低层只用 robot action supervision。这是整个方法最重要的隔离：human data 只影响“去哪里”，不影响“怎么动”。

Key Insight / Why It Works

我认为这篇最核心的贡献是把 human-to-robot transfer 的监督点从 action space 移到 sub-goal space。这个移动非常关键：action space 是 embodiment-specific 的，human video 在这里天然噪声大；sub-goal space 是 workspace-geometric 的，虽然仍有手/夹爪差异，但可对齐得多。

GHOST 有效主要来自 better inductive bias，而不是纯 scaling。它把长程 task 的 credit assignment 和 distribution shift 降维了：低层不再需要从 language/scene 中推断长期任务意图，只要 follow local goal；高层不需要生成动作，只要预测阶段终点。对于小数据 regime，这种结构化 bias 比 end-to-end policy 更强。

heatmap interface 也是一个实际有效的 engineering insight：很多 robot policies 的视觉 backbone 对 spatial conditioning 很敏感，直接拼 goal vector 常常无法让网络学会精确几何关系。投影 heatmap 等于把 goal 变成视觉坐标系中的 dense cue，降低了网络自己学习 coordinate transform 的负担。

但需要拆分贡献来源。DINOv3 backbone、multi-view RGB-D、data augmentation、manual human sub-goal annotation 都在帮忙。论文的 ablation 表明不用 DINOv3 hierarchy 仍有收益，但强视觉 backbone 对长程高层预测非常重要。因此性能不是单纯来自 hierarchy，也不是单纯来自 pretrained vision，而是 hierarchy 提供结构，DINO 提供 robust localization。

最值得注意的是 oracle ablation：fold-towel 中 low-level 没见过 towel，但给准确 robot-domain high-level goals 后表现很好。这说明 low-level 学到的不是特定物体动作脚本，而是较通用的 goal-conditioned local manipulation skill。反过来，这也暴露了 OOD human transfer 的瓶颈：不是执行器不会做，而是 high-level 从 human-domain visual observation 预测 sub-goal 不够准。

所谓“generalization”应谨慎理解。它更像通过 sub-goal bottleneck 实现的 compositional reuse 和 spatial retrieval，而不是高级语义推理。模型没有显式 task graph、没有搜索、没有长期 memory；高层每次根据当前图像预测下一目标，长程一致性主要来自 demonstrations 的 phase structure 和语言条件。

Relation To Prior Work

GHOST 属于 hierarchical imitation learning + goal-conditioned policy + learning from human video 的交叉谱系。和传统 hierarchical IL 相比，它不是只在 robot data 上学 latent skill，而是把 sub-goal 设计成 human/robot 共享监督接口。和 MimicPlay 这类 latent trajectory/video prompt 方法相比，GHOST 的 plan 不是隐式 latent，而是显式 3D end-effector keypoints；这使其更可解释，也更容易接到 robot controller。

和 action retargeting human-video 方法相比，GHOST 的差别是避免直接学习 human-to-robot action mapping。它承认 embodiment mismatch 很难消除，于是只迁移高层空间意图。这是一个更保守但更稳的选择。

看似新的部分里，hierarchy、goal conditioning、keypoint representation、diffusion low-level 都不是新思想；实质创新在于这些组件的接口选择：3D end-effector sub-goal + image-plane heatmap conditioning + human-only high-level supervision。这个接口让不同数据源在不同层级发挥作用，是论文真正新增的信息组织方式。

Dataset / Evaluation

评估在真实机器人上做，覆盖 pick-and-place、cloth folding、hammer-pin，包含刚体、变形物、工具使用和一定长程性。数据规模不大，符合论文想强调的小数据真实机器人 setting。OOD 维度包括 novel object combination、novel instance、novel category 和 skill composition，基本能测试 sub-goal interface 是否带来组合复用。

实验支持 hierarchy 对 long-horizon ID task 的帮助，也支持 human demonstrations 对某些 OOD variation 的增益。但 evaluation 仍有明显边界：任务都可以比较自然地用离散 end-effector sub-goals 表达；human demos 数量不算极少且带人工 sub-goal annotation；场景几何和相机设置较受控。它没有证明该方法能扩展到开放环境、复杂多物体长程 planning，或 contact-rich continuous skills。

baseline 选择合理但不完整。flat DP 是必要对照，MimicPlay 提供 latent hierarchy 对照。不过缺少更系统的 goal representation ablation，例如 3D vector conditioning、binary mask、object keypoint goal、learned latent goal 等。因此 heatmap 相对其他 spatial interface 的必要性仍未完全归因。

Limitation

最根本限制是方法把难题从 action retargeting 转移到了 sub-goal extraction / sub-goal prediction。这个转移是有价值的，但不是免费午餐。robot sub-goal 靠 gripper open/close heuristic，human sub-goal 需要人工标注；对于没有明显 phase boundary 的任务，这套假设会变弱。

第二，end-effector sub-goal 并不总是充分状态。许多 manipulation 的关键变量在 object state、contact mode、force profile 或 temporal dynamics 中，而不只是末端位姿。pouring、stirring、screwing、in-hand reorientation、bimanual coordination 这类任务可能需要连续轨迹、力控或 object-centric goal。

第三，cross-embodiment 泛化依赖 hand pose estimator 和 grasp-type compatibility。文中也承认 hand pose 错误会伤害性能。更重要的是，人手和夹爪的 affordance 不完全一致，keypoint 对齐只是近似；当人用多指支撑、手掌压、手腕柔顺接触时，这个接口会丢失关键信息。

第四，增益归因仍有混杂。DINOv3、多视角 RGB-D、人工 sub-goals、任务选择、受控场景都可能贡献显著收益。论文虽然有 backbone ablation 和 oracle high-level ablation，但对于 representation choice 的完整消融不足。某些收益可能主要来自更强视觉定位和额外 human high-level data，而不是某个特定 GMM/heatmap 设计。

第五，高层并没有真正做长期规划。它是 reactive sub-goal predictor，而不是显式 planner。长程成功依赖每一步预测都落在 training distribution 附近；一旦某个阶段失败或物体状态偏离，系统是否能恢复文中未充分说明。

Takeaway

• 1. 对 human-to-robot learning，最值得迁移的思路是不要强行 retarget action，而要寻找一个中间层级的 shared physical interface。
• GHOST 证明 end-effector sub-goal 是一个实用候选。
• 2. 对小数据真实机器人，显式 hierarchy 仍然很有价值。
• 即使在 diffusion policy 和 pretrained vision backbone 时代，把 long-horizon reasoning 与 local control 分开，仍能显著降低学习难度。

一句话总结

GHOST 是一篇把 hierarchical IL、human video supervision 和 goal-conditioned robot control 通过“3D end-effector sub-goal”这个物理接口重新组织起来的工作，真正贡献在于把跨 embodiment 泛化从 action retargeting 问题改写为高层空间目标预测问题。