Awesome World Models / OpenReview

Latent Action Learning Requires Supervision in the Presence of Distractors

作者：作者信息待提取 · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：6. World Models x Policy Learning

具身智能视觉语言动作/策略学习潜空间世界模型

精读笔记

Problem Setting

论文标题：Latent Action Learning Requires Supervision in the Presence of Distractors（Awesome World Models / 2025）。

这篇论文不是在证明 latent action learning 能不能从 observation-only data 中学动作，而是在问一个更尖锐的问题：当观测变化里存在与行为相关、但不可控或任务无关的外生动态时，LAM 学到的 latent action 还会不会对应真实控制动作？

以 LAPO 为代表的路线依赖一个隐含前提：连续观测之间最重要、最紧凑、最有预测力的变化来源就是 agent action。因此 IDM 从 $o_t,o_{t+1}$ 推 latent action，FDM 用 $o_t,z_t$ 预测 $o_{t+1}$，再加瓶颈，就有机会把真实动作“挤出来”。这个前提在静态背景 robot manipulation 或 ProcGen-style 设置中比较合理，但在真实视频式数据中不成立。动态背景、相机抖动、人物移动、颜色变化等因素也能解释大量像素变化，而且这些变化可能和动作时间上相关。

真正困难点在于可识别性：无监督目标只能要求 latent action 解释 transition，并不要求它解释 controllable transition。于是 latent action 会偏向最容易降低预测损失的因素，而不是最有控制意义的因素。以前方法卡住的地方正是把“预测下一观测”当成“恢复动作”的代理目标，但在 distractor 存在时这个 proxy 失真。

Motivation

已有 latent action 路线的 pipeline 通常是：先在 action-free video 上训练 LAM，再用 LAM 给全数据 relabel latent actions，训练 latent policy，最后用少量真实动作标签学 latent-to-action decoder。这个 pipeline 的问题是，真实动作标签只在最后进入系统；如果前面的 LAM 已经把 latent space 组织成背景运动、相机扰动或其他 exogenous factors，最后的 decoder 只能在一个错误坐标系里做补救。

作者的关键观察是：少量 action labels 不是只应该用于最后 decode，它们更有价值的用法是在 latent action 形成阶段给目标函数提供 grounding。也就是说，缺的不是更强 decoder，而是 latent action 学习过程中的方向性约束。

这篇论文的动机还包括一个对 web-scale embodied pretraining 的质疑：如果大规模视频中存在大量 action-correlated noise，那么“只要 scale video + self-supervised LAM 就能得到可控动作 token”的叙事是不稳的。缺口在于 prior work 很少系统测试 distractor 对 latent action 质量的破坏，也很少区分 latent representation 好不好和 latent action 是否可控。

Core Idea

核心思想可以概括为：latent action learning 在 distractor 下需要 early supervision，而不是 late decoding。少量真实动作标签必须参与 LAM 的表征组织过程，迫使 latent action 在形成时就与 controllable factors 对齐。这样监督信号不是简单增加一个下游 head，而是改变 latent variable 的语义选择。

LAOM 本身做了几类修正：去掉量化、从像素重构转向 latent temporal consistency、引入 multi-step IDM、增大 latent action capacity、使用 augmentation 稳定训练。这些改动共同降低了原始 LAPO 在连续控制和 distractor 下的脆弱性。但本质区别不在这些模块，而在 supervision 的位置：prior pipeline 把 label 当作 latent-to-real-action calibration；本文把 label 当作 latent factor selection 的约束。

直觉上这会有效，是因为 distractor 下的无监督 transition prediction 存在多个等价甚至更优解释。真实 action label 提供了一个 symmetry breaking signal，告诉模型哪些 transition components 是 control-relevant。这个 inductive bias 比单纯 bottleneck 更可靠，因为 bottleneck 只限制容量，不指定压缩方向。

Method

方法层面只需要抓住几个机制。

第一，去掉 latent action quantization。量化原本用于防止 IDM 直接把下一帧信息传给 FDM，但在连续控制和 distractor 下反而可能强化错误瓶颈：模型会优先编码更容易解释像素变化的外生动态。作者发现无论 VQ-VAE 还是 FSQ，量化都损害 latent action 质量。这里的核心变化是从“强制离散压缩”转为“保留足够信息，再用监督或 probing 提取控制相关部分”。这有明显 engineering 成分，但也暴露了 quantized action token 在连续动作域里的不适配。

第二，用 latent temporal consistency 替代像素重构。像素重构会奖励模型解释背景视频、颜色、相机抖动等所有视觉细节，这与恢复真实动作目标冲突。预测 latent representation 而不是原始图像，相当于弱化对不可控像素细节的建模压力。不过文中也显示 LAM representation 仍能重构出 distractor，因此这一步并没有真正学到 control-endogenous minimal state，只是减少了部分重构负担。

第三，引入 multi-step IDM。多步反向动力学在理论上与 control-endogenous representation 有关，因为从较远未来预测动作更可能依赖持续可控状态，而不是瞬时噪声。这里它主要作为一个 bias，帮助 latent action 更关注跨时间稳定的控制因素。但它并不充分，论文自己的 reconstruction 结果表明 LAOM 仍保留大量 control-unrelated information。

第四，也是最关键的，在 LAM 训练期间用少量真实动作标签监督 latent action。具体形式只是从 latent action 线性预测真实动作，但机制上它把标签从“最后校准”变成“训练时对齐”。这一步解决的是 latent factor ambiguity，而不是 decoder capacity。

Key Insight / Why It Works

最重要的 insight 是：latent action learning 的失败不是因为模型不够大、decoder 不够强或 reconstruction 不够好，而是因为无监督目标本身没有区分 endogenous control dynamics 和 exogenous correlated dynamics。只要 distractor 对预测目标有贡献，LAM 就有合理动机把它编码进 latent action。

监督有效的真正原因是 representation alignment。少量 action labels 在 latent action 形成阶段施加了一个方向性约束，使模型倾向于把 latent dimensions 分配给真实动作相关变化，而不是外生变化。它不是简单 semi-supervised learning 的收益，而是打破了 latent action 的不可识别性。换句话说，这篇论文的核心贡献是指出 label budget 的使用位置比 label 数量本身更关键。

LAOM 中其他改动的地位要区分看。去量化和增大 latent dim 很可能有相当一部分是 scaling / architecture adaptation，尤其是从离散动作 ProcGen 迁到连续动作 DMC 后，原始 LAPO 的量化瓶颈天然不合适。增大到 8192 维 latent action 后 probe 变好，并不意味着 latent action 更“动作化”，更可能是 latent action 包含了完整动态，真实动作只是被包含其中。这也是作者自己承认的：linear probe 只能证明 action information exists，不能证明 latent is minimal or useful。

latent temporal consistency 和 augmentation 更像稳定训练、减少像素重构副作用的辅助机制。它们改善了无监督 LAM，但没有解决根本歧义。真正改变结果的是 supervision during LAM。若只看下游性能，LAOM 无监督仍只是略好于简单 BC / IDM，说明无监督 latent action 在 distractor 下的上限很低。

一个值得注意的负面结果是：LAOM / LAOM+supervision 的 observation representation 仍能较好重构原图，包括背景和颜色，而 multi-step IDM 反而更接近 control-endogenous minimal state。这说明 LAM 并不天然是好的 visual representation pretraining objective；如果目标是控制鲁棒表示，IDM-style objective 可能更干净。本文实际上削弱了“latent action objective 可作为通用 embodied representation learning”的论点。

我会把本文判断为一个机制性诊断 paper，而不是一个强方法 paper。LAOM 是必要但不优雅的修补；supervision 的位置是实质贡献。它推动的不是一个新 SOTA recipe，而是对 latent action pretraining 可识别性的重新定性。

Relation To Prior Work

最接近的路线是 LAPO / LAPA / Moto / Genie-style latent action 或 motion token 学习，以及 DynaMo 这类用 dynamics objective 做 visual pretraining 的方法。本文与它们的本质差异不是也学 latent action，而是指出已有路线依赖 distractor-free assumption，并且在 action label 的使用方式上可能错了。

相对 LAPO，本文保留 IDM+FDM 式 latent transition modeling，但否定了两个核心设计的普适性：latent action quantization 和 image reconstruction。量化在 ProcGen 离散动作场景中可行，不代表在连续控制和视觉 distractor 下可行；重构下一帧也不是恢复可控动作的可靠代理。

相对 IDM relabeling / VPT 类方法，本文的观点更微妙。IDM 有真实动作监督，因此直接对齐 action，但标签少时对新 distractor 泛化差；LAOM+supervision 在全量 unlabeled data 上训练，同时用少量标签对齐，因此可能比纯 IDM 更好地吸收未标注数据分布。这是一个有实质意义的组合：用 unlabeled data 覆盖视觉变化，用 labeled data 决定 latent semantics。

相对 control-endogenous representation work，本文借用了 multi-step IDM 的思想，但结果反而显示 LAM 没有学到 minimal state。这里的新增信息很有价值：latent action learning 和 minimal controllable state learning 不是一回事。一个变量能帮助预测未来，不等于它是控制所需的最小状态或动作。

与 Cui et al. DynaMo 的关系也重要。DynaMo 也去掉量化、用 latent consistency，并做过 action supervision ablation，但主要把 LAM 当 representation objective。本文指出如果评价 latent actions 本身，supervision 是显著有效的；如果只看 representation，LAM 可能保留 distractor，不适合在 distractor 下作为鲁棒视觉预训练目标。

Dataset / Evaluation

实验选择 DCS 是合理的，因为它能系统控制 distractor：动态背景视频、agent color change、camera shaking，并且能测试 novel distractor generalization。任务覆盖四个 DMC 连续控制环境，难度从 cheetah 到 humanoid，足以支持“distractor 会破坏 LAM”的机制性 claim。

但这不是一个真实世界验证。DCS 的 distractor 是合成的，虽然比静态背景强，但与 web videos 中的 embodiment mismatch、human-object interaction、camera egomotion、occlusion、semantic distractor 不是一类复杂度。因此本文能证明“在可控合成 distractor 下，无监督 LAM 会失败”，不能证明“在真实互联网视频上，2.5% robot labels 足以修复 LAM”。作者也承认 cross-embodiment 结果偏悲观。

评价设计的优点是比较了同一 label budget 的不同使用方式：BC、IDM relabeling、LAPO、LAOM、LAOM+supervision。这支持了核心结论：labels 用在 LAM 训练阶段比只用于 final decoder 更有效。

不过 evaluation 也有明显 limitation。超参是用真实 action MSE 或 probe MSE 调的，这在真正 action-free setting 中不可用，因此结果更像 controlled upper-bound analysis。linear probe 作为 latent action quality 指标也有局限：它只能说明真实动作是否可线性读出，不能说明 latent action 是否 minimal、是否可被 policy 高效 imitation、是否避免 spurious correlations。8192 维 latent action 的提升尤其可能被 probe 高估。

整体上，benchmark 支持论文的诊断结论，但不充分支持 web-scale embodied AI 的可扩展解决方案。

Limitation

第一，方法成立依赖少量真实动作标签可得，而且这些标签要足以覆盖关键 action semantics。对于 Minecraft / simulation / robot logs 这类有 labeled + unlabeled 混合数据的场景可行；对于已有 web videos，真实低层动作不可得，这个前提很强。论文把问题从“无标签学动作”转移成“用少量标签 ground 大量无标签视频”，这更现实，但也不再是纯 observation-only learning。

第二，supervision 是否能跨 embodiment 迁移并不乐观。leave-one-out cross-embodiment 中，监督确实提升 LAM，但最终不明显优于从目标环境少量标签直接 BC。这说明 latent action pretraining 没有形成强可迁移动作抽象，更多是在同 embodiment / 同动力学分布内利用 unlabeled coverage。

第三，LAOM 的无监督改动增益归因不完全清晰。去量化、增大 latent action 维度、latent-space prediction、augmentation、多步 IDM 同时改变了 capacity、optimization、objective 和 inductive bias。部分提升可能主要来自更大的 latent capacity 和更适配连续控制的工程修正，而不是新的 latent action 原理。

第四，LAM representation 仍编码大量 distractor，说明它没有解决 controllable abstraction。若未来把这类 objective 用作 VLA 或 world model 的视觉 backbone pretraining，可能会继承 spurious visual dynamics。所谓 latent action 更可能是“transition descriptor”而不是“action abstraction”。

第五，offline setting 避开了探索问题。真实 deployment 中，latent policy 的错误动作解码、distribution shift、closed-loop compounding error 都可能放大。本文的 normalized return 是相对 full-data BC 的受控指标，不等于真实机器人可部署性能。

第六，没有解决无标签场景下的 model selection。作者调参时使用了 ground-truth action MSE / probe，这在论文声称要利用 action-free web data 的场景中不可用。这个问题如果不解决，大规模 LAM pretraining 的工程可控性仍很差。

Takeaway

  • 1. Latent action learning 的关键风险是可识别性，而不是建模能力。
  • 只要预测目标允许 distractor 解释 transition，无监督 LAM 就可能学到错误 latent action。
  • 2. 少量 action labels 最有价值的位置不是最后 decoder，而是 latent action 形成阶段。
  • label budget 的使用位置会改变 latent space 的语义，这是本文最值得迁移的 insight。

一句话总结

这篇论文把 latent action learning 从“无监督视频中自然涌现动作 token”的乐观叙事拉回到可识别性问题：在 action-correlated distractors 存在时，真正有效的演化不是更强 LAPO，而是把少量监督提前用于 latent action grounding。