精读笔记
Problem Setting
这篇论文不是在重新定义 language-conditioned manipulation，而是在解决 foundation-model robot policy 中一个更具体的瓶颈：动作预测缺少稳定的 3D 几何中介。现有 VLA 主要依赖 2D image/VLM latent，WAM 依赖 video latent，二者都可以在 benchmark 上学到强 imitation，但面对相机外参、尺度、遮挡、robot initial state 变化时，action decoder 需要从 2D 表征里隐式恢复几何关系，这个负担太重。
真正困难点在于：机器人控制需要的是可操作的 spatial correspondence，不只是识别“杯子在哪里”，而是知道相机、物体、末端执行器、接触点之间的 3D 关系如何随动作变化。已有 geometry-aware VLA 虽然引入 GFM，但通常是静态 feature alignment 或 action head on top，本质仍是把几何当辅助信号，而不是让策略在几何表征中做 temporal prediction。GAM 的关键矛盾处理是：如何在保留 pretrained GFM 几何 prior 的同时，把它改造成能预测未来和动作的 policy substrate。
Motivation
作者的动机不是“机器人需要 3D”这个泛泛判断，而是更具体：目前三条路线各缺一块。VLA 缺显式几何；video WAM 缺 metric/3D inductive bias；GFM-based policy 缺 temporal/action generation，只是感知模块。
核心缺口是一个共享空间：它既要能编码多视角几何，又要能承载动作条件的未来预测，还要能被解码成几何监督，从而约束 action representation 不漂到纯 imitation shortcut。GAM 的设计来自一个直接观察：GFM 本身已经有“浅层提取局部视觉/几何线索，深层融合并解码 dense geometry”的层级结构；如果在中间层插入 temporal predictor，就可以把 predicted future token 送回原来的 deep GFM decoder，让 pretrained 几何结构继续发挥作用。
Core Idea
GAM 最核心的想法是：不要把 GFM 当 frozen encoder 或额外 teacher，而是把 GFM 的中间 latent space 改造成 world-action modeling 的主干空间。浅层 GFM 负责把当前多视角图像变成几何 token；causal predictor 在这个 token space 中预测未来几何 token 和 action token；深层 GFM 再处理这些预测 token，输出 future depth 和 executable action chunk。
这改变了建模方式：动作不是从最终视觉特征直接回归，而是在一个“可被几何 decoder 验证”的未来 latent 中产生。相比 VLA/WAM，它引入的 inductive bias 是 metric geometry / cross-view consistency / depth-aware feature propagation；相比 geometry-aware VLA，它不只是把几何作为 feature，而是让 action token 进入 GFM deep blocks，被几何表示反复 refine。这个信息流重组是论文最实质的地方。
Method
方法层面只看机制，有三处是关键。
1）中间层切分 GFM。split layer 必须在已有足够视觉几何抽象、但仍早于 depth head 可用的层级。太早 predictor 面对 raw patch token，难以学 dynamics；太晚则 predicted token 没有足够 deep block 去重新融入 GFM 的几何 prior。layer ablation 中早/晚 split 崩溃，说明这是结构性约束，不是普通工程选择。
2）causal future predictor。它的作用不是简单 temporal fusion，而是把 language、proprioception、past action 和 GFM latent 放进同一 causal sequence，形成 next latent / next action 的联合预测。这样 action token 的生成被绑定到未来几何状态预测上，减少纯视觉 BC 的 shortcut。
3）预测 token 回流 deep GFM。predicted future geometry tokens 和 replicated action token 一起进入剩余 GFM blocks，再由 depth head 和 action head 解码。这一步让 deep GFM 从“几何解码器”变成“几何约束下的动作表征 refinement 器”。直接对 predictor action token 监督的 ablation 更差，说明 action through GFM decoder 不是装饰。
训练目标中的 action loss 是必要主任务；feature/depth loss 更像约束 predicted latent 不脱离 GFM manifold。值得注意的是，在强 pretraining 下去掉这些 loss 影响有限，说明它们可能主要在低数据/无预训练时起 regularization 作用。
Key Insight / Why It Works
我认为有效性的主因不是“它会预测未来 depth”本身，而是 action representation 被迫经过一个 pretrained geometric manifold。GFM 已经学到多视角一致性、尺度、遮挡、相机几何等结构；GAM 把策略的中间计算放在这个 manifold 内，而不是让 action head 自己从 2D feature 中重新发明几何。这是 better inductive bias + representation reuse，不是 test-time planning。
最可能的核心贡献是 split-and-reinject：在 GFM 中间层预测 future latent，再让 deep GFM 继续处理预测 token。这个机制比“GFM feature + policy head”更强，因为它利用了 GFM 的层级计算，而不是只拿最终 embedding。action token 经过 deep geometry decoder 的设计也很关键，相当于让动作查询视觉几何结构，attention 可视化显示其会关注操作物体和接触区域。
哪些可能只是辅助：future depth visualization 不应被过度解读，它更多证明 latent 没崩，而不是证明模型有真实 dynamics understanding。depth/feature losses 在 pretraining 后贡献小，说明所谓 world modeling 很可能主要是训练 regularizer，而非核心推理机制。H=1 在 post-training 更好，也削弱了“长时序世界模型”的叙事。
哪些可能来自 scaling/data：pretraining 对 OOD robustness 的影响很大，且使用 OXE、MimicGen、RoboCasa365 加 simulator depth / pseudo-depth。GAM 的优势很可能是 GFM prior + 大规模机器人数据 + 几何监督共同结果。论文没有完全隔离同等数据同等参数下的非 GFM world model，因此不能把全部增益归因于架构。
总体判断：这不是一个真正的 planner，也不是显式 dynamics model；它更像把 BC policy constrained 到一个 geometry-aware latent manifold 上。这个约束恰好击中了相机扰动和空间泛化的痛点。
Relation To Prior Work
和 VLA 相比，GAM 放弃了把大 VLM/LLM 作为主干的路线，牺牲一部分语言/常识潜力，换取更强几何 inductive bias 和更低 latency。它不是 open-world semantic reasoning policy，而是 geometry-first manipulation policy。
和 video WAM 相比，GAM 继承了“future prediction helps policy learning”的思想，但把预测空间从 2D video latent 换成 GFM latent。这个差异很本质：video latent 学 appearance-temporal prior，GFM latent 学 metric/spatial prior；机器人接触任务更需要后者。
和 geometry-aware VLA/Spatial Forcing/ROCKET 相比，GAM 的区别在于不是 alignment 或 distillation，而是直接复用 GFM 的深层计算路径。已有方法把 GFM 当 teacher 或 feature provider，GAM 把 GFM 当 policy backbone 的内部计算图。这是实质创新。
和 3D point-cloud policy 相比，GAM 不从 scratch 学 3D encoder，也不依赖显式点云 pipeline，而是利用 pretrained feed-forward geometry model 的 latent。它属于“foundation geometry backbone repurposing for control”这条谱系，比传统 3D policy 更 foundation-model 化，比 VLA 更 geometry-native。
看似新的部分如 future latent prediction、auxiliary depth loss、action chunk BC 都不是新思想；真正新增的信息是这些东西被放在 GFM 的中间层，并让 predicted latent 继续走 GFM decoder。
Dataset / Evaluation
评估覆盖了标准 LIBERO、LIBERO-Plus OOD perturbation、RoboCasa-Kitchen 和少量真机任务，基本能支持“几何 prior 提升视角/场景扰动鲁棒性”的主张。尤其 LIBERO-Plus 的 camera perturbation 是最对口的验证，因为这是 2D VLA 最容易暴露几何脆弱性的轴。
但 evaluation 也有明显边界。LIBERO 原始任务已经接近饱和，不能说明太多；主要证据来自 perturbation benchmark，而这些 perturbation 仍是有限、结构化、离线定义的。真机实验有价值，但任务数少、每任务 trial 少，且 OOD 主要是外部相机平移/旋转，不能证明对真实开放环境、物体分布变化或复杂语言任务泛化。
另一个需要注意的是 baseline 公平性。部分 baseline 是 re-evaluate，部分来自已有论文；GAM 使用强 GFM backbone、几何监督、大规模预训练和 CUDA Graphs 优化。性能和速度 claim 大体可信，但归因不完全干净。特别是 6.9ms latency 依赖 deployment setting，而 matched setting 是 17.5ms；仍快，但“55x”主要相对 diffusion WAM。
Limitation
第一，方法成立强依赖 GFM 的几何 prior 和高质量 depth supervision/pseudo-label。如果 GFM 在目标域几何估计失败，例如透明、反光、强遮挡、非刚体、外参不稳定，policy 的 latent manifold 也会被带偏。它把一部分控制难题转移给了 GFM。
第二，所谓 temporal world modeling 很短视。post-training 使用 H=1，action chunk open-loop 执行，future prediction 主要是一阶 latent alignment。它不具备显式长期 rollout、uncertainty、planning 或 counterfactual action evaluation，因此不能把它理解成 model-based control。
第三，语言能力上限明显。frozen T5 tokens 只提供 instruction conditioning，不提供强 commonsense reasoning 或 task decomposition。复杂、多阶段、需要纠错的指令场景中，GAM 可能不如 LLM/VLM-heavy policy。
第四，增益来源不清。pretraining、GFM backbone、depth supervision、action-through-decoder、数据过滤、augmentation、action chunking 都同时存在。ablation 说明 pretraining 是鲁棒性的主要因素之一；在强预训练下 depth/feature losses 可有可无，这让“joint future geometry prediction 是核心”的论断需要更谨慎。
第五，泛化可能仍是 dataset coverage + benchmark structure 的结果。LIBERO-Plus 虽有扰动，但任务和物体语义空间有限；RoboCasa 和 OXE 的覆盖可能与评估分布有隐式重叠。文中未充分说明对真正 novel object geometry、novel embodiment、camera calibration drift 的泛化边界。
Takeaway
- 1）最值得迁移的 insight：如果某个 foundation model 的中间层 latent 有强结构 prior，不要只取最终 feature；可以在中间层插入 task-specific predictor，再把预测 token 送回原 backbone 的后半段，让 pretrained computation 继续约束下游决策。
- 2）机器人策略里的 world modeling 未必需要 pixel/video generation。
- 对 manipulation 来说，预测可解码的 geometry latent 可能比预测 RGB 更有效，也更轻量。
- 3）geometry-aware policy 的下一步不应只是 feature alignment，而应让 action token 主动参与几何 backbone 的深层传播；这比静态 3D feature concatenation 更像真正的 spatial action representation。
一句话总结
GAM 是一篇把 pretrained geometric foundation model 从静态感知器改造成短时 world-action latent backbone 的工作，真正贡献在于用 GFM 中间层预测与深层回流重组策略信息流，代表了 VLA/WAM 向 geometry-native robot policy 演化的一步。