精读笔记

Problem Setting

论文处理的是一个很具体但重要的 imitation learning bottleneck：目标机器人上的 action-labelled demonstration 太贵，而更便宜的数据源往往没有目标机器人动作、动作空间不同、甚至只提供视频。真正困难不是“没有动作标签”本身，而是不同数据源中的动作没有共同坐标系：UMI 的运动、Kinova 的 joint / end-effector command、sim 和 real 的视觉变化，不能直接 pooling。以前路线多用工程对齐或经验 co-training，本质上是在绕过 action correspondence 问题。这里的关键矛盾是：BC 需要目标机器人可执行动作监督，但可规模化数据只提供环境变化；如何把环境变化变成 target-executable supervision，是论文的核心问题。

Motivation

作者不满足于 prior 的原因很清楚：现有 heterogeneous co-training 缺少一个原则性定义来判断跨源动作是否等价。sim-real co-training、human video imitation、portable device data 等路线通常依赖 hand-crafted alignment、source-specific preprocessing 或调 mixing ratio；这些方法可以在单个 setup 上工作，但很难解释为什么某个 auxiliary trajectory 应该监督目标机器人采取什么动作。作者的关键观察是 manipulation 中 action 的语义主要体现在它对环境，尤其是被操作物体，造成的变化上。因此缺口不是 policy architecture，而是一个 grounded action representation：既 source-invariant，又能 decode 到 target robot action。

Core Idea

GLAM 的核心不是“训练一个 world model”，而是把 world model 当作 latent-action anchor：不使用它做长 horizon rollout / planning，而是用它给每个 transition 生成一个 source-agnostic pseudo-action label。这样，辅助无动作数据被转化成 BC 可以消费的监督信号，而不需要知道辅助 embodiment 的 action command。

本质建模变化是：动作不再是某个 embodiment 的 control vector，而是解释环境 transition 的 latent cause。共享 IDM / forward dynamics 提供 effect-based invariance，target action encoder / decoder 提供 executability，非对称 posterior alignment 则把这两者绑定起来。相比 reconstruction-only LAM，这里新增的 inductive bias 是“latent action 必须同时预测 transition、匹配 target action posterior、可解码为 target action”，因此 latent 不只是视觉 motion token，而是被目标机器人动作空间锚定过的 control-aware variable。

Method

第一，heterogeneous generative model 用同一个 IDM 从 target 和 auxiliary observation transitions 中推断 latent action，并用 shared forward model 预测下一状态。它解决的是跨源 transition 到 latent 的统一编码问题；必要性在于 auxiliary 没有动作标签，只能从状态变化反推动作。

第二，target generative model 用 action encoder 从 target state-action pair 中推断 latent，并训练 action decoder 从 latent 还原目标动作。它解决的是 latent 可执行性问题；否则 IDM latent 可能只解释视觉变化，却无法稳定映射到 Kinova command。

第三，非对称 KL 让 IDM posterior 靠近 stop-gradient 的 action-encoder posterior。这个设计很关键：target action label 是 privileged signal，应该作为 anchor；如果双向或对称对齐，source-mixed IDM 的不确定性会污染 action encoder。Appendix 中也暗示去掉该设计会导致 cross-source replay 失败。

第四，冻结 GLAM 后用 IDM mean relabel 所有 transition，训练 downstream latent-action BC，再通过 action decoder 输出目标机器人动作。这一步的核心变化是：auxiliary trajectories 不再作为 domain adaptation 数据，而是直接变成 latent action supervision。

Key Insight / Why It Works

最可能真正有效的部分是“effect-based latent + target action anchoring”的组合，而不是 world model rollout 能力。GLAM 避免了 world model 在机器人控制中最脆弱的长 horizon imagined rollout，只使用 per-step transition labeling；这显著降低了模型精度要求，也解释了为什么几百条轨迹就能工作。

它本质上是 representation alignment + data scaling，不是 planning。辅助数据带来更多 task-conditioned state-transition coverage；GLAM 的作用是把这些 coverage 投影成目标机器人可学习的 latent action labels。成功率提升很可能来自两个因素叠加：更多覆盖到的物体运动模式，以及 latent action 比原始 action 更平滑、更低噪声、更适合 BC 回归。

object mask 的增益说明 latent 对齐高度依赖“看见正确的变化”。这既支持作者假设，也暴露方法边界：如果视觉中存在大量 embodiment / background / camera nuisance，IDM 很可能学到错误的 transition explanation。GLAM-O 的提升可能部分来自强 object-centric inductive bias，而不完全来自 paired ELBO。

非对称 KL 是一个实质贡献。它明确区分了 source-invariant transition posterior 和 target-only control posterior 的信息地位：前者负责覆盖，后者负责锚定。这个信息流方向比 CLAM 式 joint grounding 更合理，因为 target action supervision 不能直接施加到 auxiliary transition posterior 上，否则会破坏 source invariance。

需要谨慎的是，实验中的 auxiliary 数据与 target 共享任务、物体、相机布局和较强的环境结构。所谓 heterogeneous transfer 更像 controlled cross-embodiment / sim-real relabeling，而不是开放世界视频到机器人策略的泛化。没有证据表明它已经学到可组合、跨任务的 action ontology。

Relation To Prior Work

最接近的是 Latent Action Models、actionless imitation、CLAM、LAPA，以及 sim-real / cross-embodiment co-training。和 LAPA 的关键差别是：LAPA 的 latent 主要由 next-frame reconstruction / VQ tokenization 诱导，容易得到视觉 motion code；GLAM 额外把 latent 绑定到 target action posterior，因此更 control-aware。和 CLAM 的差别是：CLAM 更像 single-embodiment latent action grounding，GLAM 则显式处理 source-mixed IDM 与 target-only action encoder 的分工。

从技术谱系看，它不是新的 policy learning paradigm，而是 latent action relabeling for BC 的一个更强 alignment variant。看似新的“world model”用法，其实是把 VAE / IDM / forward dynamics / action decoder 重新组织成 heterogeneous data interface；实质创新在于信息流设计：transition effect 负责跨源共享，target action label 负责可执行锚定，非对称 KL 负责避免互相污染。

和大规模 VLA / web-video pretraining 不同，GLAM 没有试图从海量数据中学通用视觉-动作知识，而是在小数据、强任务重合设定下提高 auxiliary data usability。它更像一种 data adapter / latent supervision generator，而不是 foundation policy。

Dataset / Evaluation

评估覆盖了真机 Kinova、MuJoCo、UMI auxiliary、单臂和双臂任务，强于只在仿真或单任务上验证的 latent-action 工作。真机结果是有价值的，尤其是 auxiliary 来自 simulated UMI、target 是 real Kinova，说明该 latent space 至少能跨一定 embodiment 和 sim-real gap。

但 evaluation 主要验证的是“在共享任务语义、共享物体、接近相机/场景设置下，auxiliary transitions 能否替代部分 target demos”。它没有充分验证真正困难的 heterogeneous data：不同视角、不同背景、不同物体类别、不同任务、human hand video、web video、dexterous morphology。作者也承认 auxiliary trajectories 共享 deployment camera placement 和 tabletop scene。

baseline 设置相对公平，因为 CLAM / LAPA 使用相同 policy scaffold，但仍存在归因不完全清楚的问题：GLAM-O 的优势可能混合了 paired objective、object mask、更好的 latent smoothness、更多 pretraining exposure。实验支持核心 claim 的局部版本，但不足以支持广义“heterogeneous demonstrations”这个标题可能暗示的范围。

Limitation

最核心前提是：不同 source 中存在可比较的 environment transition，并且这些 transition 足以决定目标动作。对于接触丰富、力控关键、遮挡严重、多解动作、不同 morphology 的任务，这个前提会变弱。相同物体运动可能由不同接触策略产生，而仅靠视觉 transition 的 latent 可能无法区分可执行性。

第二，方法依赖 target action labels 作为 anchor。没有少量 target demonstrations，latent 无法自然变成 target-executable；因此它不是 action-free robot learning，而是 target-label-efficient learning。

第三，泛化可能主要来自数据覆盖，而不是抽象 reasoning。GLAM 给 BC 提供了更多 pseudo-labelled trajectories，并使动作空间更平滑；这非常有用，但不要误读为模型学会了长期规划或物理因果推理。

第四，scalability 上限取决于 shared latent 是否能容纳多任务、多物体、多embodiment 下的 multimodal action equivalence。当前每个 task 训练或至少强 task-specific setting 下训练，尚未证明 latent 可以作为全局 skill vocabulary。

第五，object mask 是双刃剑。它验证了 object-motion grounding，但也引入额外感知假设：需要可靠 segmentation，且任务 reward / control-relevant state 必须主要体现在 object mask 中。对工具使用、柔性物体、遮挡、接触力，mask-based grounding 可能不足。

Takeaway

• 第一，heterogeneous imitation 的核心不是把不同数据混起来，而是先定义 action equivalence；以 environment effect 作为 action identity 是一个可迁移的建模原则。
• 第二，world model 在这里最有价值的用法不是 rollout / planning，而是作为 frozen latent-action labeler。
• 这个方向可能比 offline world-model control 更稳定、更数据高效。
• 第三，source-invariant posterior 和 target-executable posterior 应该分工，而不是共享同一个监督源；非对称对齐是处理 privileged target action labels 的好范式。

一句话总结

GLAM 是一篇把 latent action model 从单源 actionless imitation 推向受控 heterogeneous demonstration 利用的工作，真正贡献在于用 transition-grounded world model 和 target-action anchoring 把无动作辅助数据转化为可执行 BC 监督。