Awesome World Models / OpenReview

FLAM: Scaling Latent Action Models with Factorization

作者：作者信息待提取 · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：3. World Models for Navigation

具身智能机器人导航视觉语言动作/策略学习潜空间世界模型

精读笔记

Problem Setting

论文标题：FLAM: Scaling Latent Action Models with Factorization（Awesome World Models / 2025）。

这篇论文真正处理的是 action-free video world model 中 latent action 表达的可扩展性问题。LAM 类方法试图从相邻帧中通过 IDM 抽取一个离散 latent action，再用 FDM 做下一帧预测；这个范式在低自由度或单主体场景里合理，但在多实体同时运动时会遇到组合爆炸：一个 transition 实际由多个局部动作共同构成，而 monolithic latent action 必须压缩整个场景的联合变化。

关键矛盾是：latent action 必须足够窄，才能避免复制未来帧；但又必须足够宽，才能表达多个实体的独立变化。单个 bottleneck token/codebook 同时承担这两个目标，导致要么表达不足，要么失去动作语义。以前方法卡住的地方不只是 codebook size，而是建模单位错了：它们把多主体世界的 joint transition 当成单一 action 来解释。

Motivation

已有 LAM / LAPO / Genie 路线的核心缺口是缺少 compositional action representation。它们能从无动作标签视频中学可控 world model，但默认 transition 的控制变量是全局的。现实视频中很多变化源并不同步：车、人、球、手、物体、摄像机都可能独立移动。把这些变化压成一个 latent action，相当于让 codebook 覆盖所有动作组合，复杂度随实体数指数增长。

作者的核心观察是：多实体场景中的困难不是视觉内容多，而是独立变化因子多。更具体地说，一个小动作字典本来可以描述单个实体的局部运动，但 monolithic LAM 必须学习所有实体动作的笛卡尔积。于是自然想到 factorization：如果状态能拆成若干 slots，每个 slot 各自推断 latent action，那么复杂联合动作可以由多个小 action code 组合出来。

这里缺的不是更强 decoder，也不是更大的 video model，而是一个把 action bottleneck 从全局转为局部的 inductive bias。

Core Idea

FLAM 的核心思想是把 latent action learning 的基本单位从 scene-level transition 改成 factor-level transition。每一帧先被分解为 K 个 factors/slots；对每个 factor，IDM 从当前场景和该 factor 的下一时刻状态中推断一个 latent action；FDM 再用当前所有 factors 与该 factor 的 latent action 预测该 factor 的下一状态。所有 factors 共享同一个 action codebook 和 dynamics model。

这个变化的本质是重新组织信息流：全局模型不再学习一个联合动作 token，而是学习一组局部动作 token；全局变化由局部变化组合得到。这样引入了两个 inductive biases：一是 dynamics factorization，即不同实体/区域的变化可以被局部解释；二是 action sharing，即不同实体可能复用相同的动作原语。前者降低组合复杂度，后者提升 sample efficiency 和泛化。

和 prior 的本质区别在于，FLAM 不是单纯使用 object-centric representation，也不是给 LAM 加一个 slot encoder。它要求 latent action 本身也 factorized，并且训练目标是未来预测而不是重建，因此 slots 理论上应按 dynamics 组织，而不是按视觉外观组织。

Method

方法中真正必要的机制有四个。

第一，离散 feature space。FLAM 先训练 tokenizer/VQ-VAE，把像素帧映射为 patch-level quantized codes。这样后续 world model 预测 code indices，而不是连续 latent values。它解决的是 rollout 中连续误差累积问题，也让 aggregator 变成分类器。这个设计很可能是稳定训练的重要工程条件，但不是论文最核心的概念贡献。

第二，dynamics-driven factorization。Slot attention 被用来把 frame latent 拆成 K 个 slots。关键不是 slot attention 这个模块，而是它服务于后续的 per-slot action inference。论文明确区别于传统 object-centric learning：这里没有依赖重建目标来逼出视觉对象，而是让预测损失驱动 factor 学习。理想情况下，slot 会捕获独立动力学因子，而不是视觉上最显著的物体。

第三，per-factor latent action with shared codebook。每个 slot 有自己的 latent action，但 action quantizer/IDM/FDM 在 slots 间共享。这是避免 |A|^K codebook 的核心机制：联合动作由 K 个小离散 action 组合产生。共享模型还隐含 permutation invariance，使同一种局部运动可迁移到不同实体。

第四，interaction-aware factor dynamics。虽然每个 factor 单独预测下一状态，但 IDM/FDM 都能读取所有当前 slots。这个设计很重要，因为实体并非完全独立；factorization 只拆动作 bottleneck，不强行假设动力学无交互。换句话说，FLAM factorizes action representation，但保留 state interaction。

第五，slot tracking prior。附录显示，slot matching loss 没有明显帮助，recursive slot initialization 才有效。这说明模型并不能自然学到稳定 factor identity；显式时间连续性 prior 是实际成立的关键。

Key Insight / Why It Works

最核心的 insight 是：LAM 的瓶颈不只是 latent action 太小，而是 latent action 的粒度错了。多实体世界中，一个全局离散 action 要表达的是 joint action；即使每个实体只有少量动作，联合动作空间也迅速爆炸。FLAM 通过 per-factor action 把 joint action 分解为 product of reusable local codes，因此扩展性来自 better inductive bias，而不是单纯 scaling。

真正可能有效的部分是 factorized action bottleneck，而不是 slot attention 或 VQ-VAE 本身。Slot attention 只是提供可操作的 decomposition；VQ/FSQ 和 autoregressive aggregator 主要是让预测更稳定。论文中 classification over code indices 的 ablation 说明离散预测能改善 rollout，但这属于 video token modeling 中已知的工程经验，不是 FLAM 的独有贡献。

另一个重要点是，FLAM 并没有把世界完全拆成独立子系统。IDM/FDM 仍看所有当前 slots，这让它能处理交互、遮挡、乘坐关系等依赖。这个折中很合理：action 是局部的，context 是全局的。相比完全独立 object dynamics，这更符合真实视频。

但需要警惕的是，所谓 dynamics-aware representation 是否真的学到了可解释实体并未被充分证明。论文依赖 PSNR 和 ∆PSNR，缺少 factor consistency、action compositionality、cross-entity action reuse 的定量验证。因此更保守的判断是：FLAM 学到了比 monolithic LAM 更有用的 structured latent interface，但不一定学到了严格的 object/action semantics。

真实数据中 PSNR 增益并不强，甚至 FLAM 有时低于 LAM；最明显提升在 controllability 指标。∆PSNR 本身衡量的是 inferred actions 与 random actions 产生结果的差异，能说明 latent action 对生成有影响，但不完全说明可控性语义正确。它可能也奖励模型对 action token 更敏感，而不一定是更可解释的控制。

因此这篇的有效性主要来自 latent structure / better inductive bias，其次来自 discrete token prediction 和 slot tracking prior；不是 retrieval、不是 test-time compute，也不是显式 planning。scaling/data 可能贡献了真实数据上的表现，但论文没有充分隔离这些因素。

Relation To Prior Work

FLAM 位于 LAPO/Genie 式 latent action model 与 object-centric dynamics/factored MDP 的交叉处。它继承了 LAM 的核心框架：IDM 从相邻观测中压缩 transition，FDM 用 latent action 预测未来；也继承了 object-centric learning 的 slot decomposition；同时借用了 factored MDP 中“组合结构降低复杂度”的思想。

和 LAPO/Genie 的真正差异是 action bottleneck 的结构。prior 是一个 scene-level latent action，FLAM 是 K 个 factor-level latent actions，共享 codebook。这个改动看似简单，但改变了 codebook 学习的问题规模，是实质创新。

和 object-centric representation 的差异在监督信号和用途。传统 slot/object-centric 方法通常靠 reconstruction 学视觉对象，容易按颜色、纹理、显著性分组；FLAM 让分解服务于 transition prediction，希望得到 dynamics factors。论文中 OC+LAM 表现较差，支持“视觉对象分解不等于 world model 有用分解”这个判断。

和 factored dynamics / factored MDP 的关系更像是把已有结构假设搬到 action-free video setting。新意在于 factorization 不是给定的 state/action graph，而是从视频中通过预测任务和 slot prior 共同诱导出来。不过严格说，这不是一个全新的理论框架，而是已有几条路线的有效重组：discrete video tokenizer + slot factorization + latent action bottleneck + shared dynamics。

Dataset / Evaluation

评估覆盖了 simulation 和 real-world：Multigrid/Procgen 用来验证多实体和可控环境，nuPlan/Sports/EGTEA 用来展示真实视频可用性。任务范围覆盖导航、交通、运动、手物交互，和论文 claim 的 multi-entity action-free video 基本匹配。

最能支持核心 claim 的实验是 Multigrid 中实体数量增加的 ablation：实体越多，FLAM 相比 LAM 越稳。这直接对应组合动作空间的论点。simulation 中 FLAM 的 PSNR 和 ∆PSNR 优于无动作标签 baselines，也说明 factorization 对预测和控制都有帮助。

真实数据的证据更混合。FLAM 的 controllability 明显更好，但 PSNR 与 LAM 接近，部分数据集还略低。这说明 factorization 未必显著提升短期视觉预测质量，更可能提升 latent action 对生成的影响力和结构化控制接口。论文如果要强声称“更准确 world modeling”，真实数据证据并不充分；如果 claim 是“更 scalable controllable latent action interface”，证据更成立。

评价指标也有局限。PSNR 偏向短期像素一致性，不等价于动力学正确；∆PSNR 只能说明 action token 改变输出，不保证控制语义对齐。没有 closed-loop navigation/planning 结果，也没有真实机器人或策略学习强验证。policy learning 公式给了，但实验主体仍是 video prediction/generation。

Limitation

第一，factorization 依赖稳定 slot identity。论文自己承认需要 recursive slot initialization；没有它，slot attention 不保证跨帧对应。这意味着 FLAM 的关键假设不是完全从数据中自动学出来的，而是靠 tracking prior 维持。

第二，K 是强人工先验。Multigrid 设 K 接近 agent 数，真实数据设 16/32。K 过小会欠分解，过大会产生冗余或 slot fragmentation。论文没有解决开放世界中 entity 数量变化、遮挡、出现/消失时的自适应 factor 管理。

第三，action sharing 的假设并不总成立。不同实体可能有不同动力学和动作空间，比如车、行人、球、摄像机、手、物体。共享 codebook 在简单场景中提升泛化，但在异质实体环境中可能压缩过度，导致 latent action 语义混杂。

第四，真实世界增益归因不清。FLAM 与 LAM 在模型维度、factor 数、aggregator、tokenizer 使用方式上可能存在复杂差异；离散预测和 recursive tracking 本身就能带来改进。文中未充分说明哪些收益来自 factorization，哪些来自更强工程设计。

第五，预测 horizon 很短，主要是 1-step/5-step rollout。长期 world model、规划、counterfactual control 是否成立没有验证。所谓 controllable generation 更像 latent intervention demo，还不是可执行动作控制。

第六，latent action 到 real action 的 remapping 没有充分实验支持。对 embodied AI 来说，能从视频中学出 latent control variable 只是第一步；能否映射到机器人/导航动作并在闭环中工作，文中没有证明。

Takeaway

  • 1. 对 action-free video world model 来说，latent action 的结构比 codebook 大小更重要；多实体场景下应优先考虑 factorized action interface，而不是继续扩大 monolithic action vocabulary。
  • 2. Object-centric representation 是否有用，取决于它按什么信号分解。
  • 为 world model 服务的 factor 应该由 dynamics/prediction 驱动，而不是由 reconstruction/appearance 驱动。
  • 3. 一个合理的设计模式是：局部 action、全局 context、共享 dynamics。

一句话总结

FLAM 是 LAM 路线从 monolithic latent action 向 compositional/factored latent action 演化的一步，真正贡献在于用 dynamics-driven factorization 缓解多实体 action-free video world model 的组合动作瓶颈。