Awesome World Models / OpenReview

Avi: A 3D Vision-Language Action Model Architecture generating Action from Volumetric Inference

作者：作者信息待提取 · 单位：University of California, Los Angeles, University of pennsylvania · 来源：General Approaches to World Models · 发布日期：2025 · 分类：5. Building World Models by Bridging Language and Vision Intelligence

具身智能视觉语言动作/策略学习三维视觉先验语言先验视觉语言桥接

精读笔记

Problem Setting

论文标题：Avi: A 3D Vision-Language Action Model Architecture generating Action from Volumetric Inference（Awesome World Models / 2025）。

这篇论文实际切入的是 VLA 中一个长期被混在一起的问题：语言到动作的映射里，哪些部分应该学习，哪些部分应该由几何结构直接计算。作者并不试图训练一个端到端 universal policy，而是把机器人动作生成改写为“预测对象在 3D 空间中的后状态”，再通过显式几何变换得到动作。

真正困难点不在于 drawer closing 本身，而在于 action token 是高度 embodiment-specific 的：同一个“关抽屉”在不同机器人、相机、控制频率、坐标系下对应完全不同的动作序列；但对象几何变化相对更稳定。以前方法卡在两个层面：2D VLA 需要从图像里间接恢复空间关系；3D policy 虽然引入点云，但仍把学习目标设为动作 token，导致模型仍然学习机器人特定控制而不是任务本身的空间后果。

这个任务的关键矛盾是：机器人执行需要低层连续控制，但语言指令表达的是对象状态变化。Avi 的尝试是把二者解耦：学习语言条件下的几何状态变化，执行层再由经典几何求解。

Motivation

已有路线不够的原因很直接：action-token VLA 的泛化边界往往由数据覆盖决定，而不是由模型真的理解空间关系决定。只要相机姿态、机器人形态、桌面布局或物体实例变化超出 demonstrations，端到端 policy 必须重新学习大量本应由几何不变性解决的东西。

作者的核心观察是：许多 manipulation task 的语义目标可以更自然地表达为 3D scene transformation。例如“close the drawer”不是某个固定末端轨迹，而是抽屉从 open state 到 closed state 的几何变换。这个后状态在不同机器人上共享，而动作轨迹不共享。

关键缺口在于：现有 3D MLLM 通常擅长单物体理解/生成，但缺少场景级位置 grounding；现有 VLA 擅长动作 imitation，但缺少显式可解释的 3D target state。Avi 试图把这两个缺口拼起来：用 3D MLLM 预测目标几何，用 location quantization 补场景坐标，用 ICP/IK 接到机器人执行。

Core Idea

Avi 的核心不是“用了点云”或“用了 ShapeLLM-Omni”，而是改变了建模变量：从 p(action | image, language, history) 变成 p(next geometry | point cloud, language)，再用 deterministic geometry solver 计算 action。这相当于把 policy learning 中最难泛化的一部分——机器人动作序列——从神经网络输出空间中移除。

这个建模方式的 inductive bias 很强：任务目标被约束为 3D 空间中的对象变化，模型必须在几何 token 空间里表达“应该变成什么样”，而不是直接吐一个动作。这在直觉上更 scalable，因为对象状态变化比具体 action token 更接近任务语义；也更 generalizable，因为几何变换可跨视角、跨相机甚至部分跨 embodiment 复用。

和 prior 的本质区别是：FP3、DP3、PointVLA 等 3D-aware policy 仍然是 3D-conditioned action generation；Avi 则是 3D outcome generation followed by classical control。它不是更大的 policy，而是把 policy 拆成 learned goal inference + analytic execution。

Method

方法层面最必要的机制有三个。

第一，物体级 3D 表示。Avi 先把场景点云分割成对象级 point cloud，并把语言指令和对象几何放进同一个 3D MLLM token 空间。它解决的是 scene-level 操作中“谁被操作、在哪里、相对关系是什么”的 grounding 问题。相比直接处理整场景点云，对象级表示降低了几何预测难度，也让语言中的名词/目标更容易绑定到空间实体。

第二，location quantization。ShapeLLM-Omni 这类 3D MLLM 的先验主要来自单物体或资产级 3D 数据，天然不擅长多物体场景中的绝对/相对位置。作者加入离散位置和尺度 token，本质上是在给 3D MLLM 外挂一个粗粒度空间坐标系统。它解决的不是形状理解，而是场景布局 grounding。这个组件很可能是让模型从“生成一个像抽屉的东西”变成“在正确位置生成抽屉状态变化”的关键。

第三，ICP + IK 的动作恢复。模型预测目标点云后，使用 ICP 估计当前对象到预测对象的刚体变换，再将变换映射到末端执行器位姿。这个机制把连续控制问题压缩成几何配准问题。优点是可解释、少数据、跨机器人潜力更好；缺点是它要求任务变化能由稳定刚体变换描述，且点云预测和对应关系足够准。

Key Insight / Why It Works

这篇最值得注意的 insight 是：在很多桌面 manipulation 任务中，学习“动作”可能是错误的监督对象；学习“对象应该变成什么状态”更接近任务不变量。Avi 的有效性如果成立，主要来自 better inductive bias，而不是模型规模或复杂训练 recipe。

最可能的核心贡献是 language-to-geometry 的重参数化。它把动作空间中的 embodiment-specific variance 转移到一个更结构化的 3D outcome space。对于 drawer closing 这类近似刚体、目标状态清晰、接触模式简单的任务，这个 bias 非常合适：只要预测出抽屉关闭后的点云位置，ICP/IK 就能给出可执行方向。

Location quantization 是第二个关键点，但它更像是补丁式 engineering insight：当前 3D MLLM 缺少场景坐标感，所以必须显式塞入位置 token。它不是深层的空间推理突破，而是把连续场景坐标离散化后接到语言模型词表里。这很实用，但也可能带来“坐标记忆”或 benchmark-specific grounding：模型也许不是理解对象关系，而是在学习 LIBERO 场景中离散 token 到目标变换的映射。

ICP/IK 部分是强 inductive bias，也是上限来源。它使少数据下结果看起来稳，因为低层几何不需要学习；但一旦操作不是单一刚体对齐，或者需要力控、接触顺序、避障、重抓取，ICP 给出的变换就不再等价于可执行策略。

论文中的性能增益归因并不清晰。可能来自 3D 表示，也可能来自任务过于适合刚体几何，也可能来自 location token 提供了强坐标先验，还可能来自 LIBERO drawer task 的分布相对简单。当前实验无法区分这些因素。所谓“3D vision-language reasoning”在这篇里更像结构化目标生成 + 几何后处理，而不是完整 world model 或长期规划。

Relation To Prior Work

Avi 最接近三条线：一是 Diffusion Policy / ACT / RT-X / π0 这类 action policy；二是 DP3、FP3、PointVLA、SpatialVLA 这类 3D-conditioned VLA；三是 VoxPoser 一类显式空间中间表示加传统规划/控制的方法。

和 action policy 的本质差异是监督目标不同。传统路线学习 demonstration 中的动作分布，Avi 学习 demonstration 中的几何后果。这个差异很重要，因为它改变了泛化单位：从 robot trajectory 泛化到 object transformation。

和 3D-conditioned policy 的差异是输出空间不同。DP3/FP3 使用 3D 作为 perception prior，但最终仍然输出 action；Avi 使用 3D 作为目标空间，动作只是后处理结果。因此 Avi 更接近“goal-conditioned geometric planner”而不是“foundation policy”。

和 VoxPoser 等方法相比，Avi 的新增点在于用 3D MLLM 生成目标体素/点云，而不是用 LLM 组合 value map 或手工 affordance field。看似新颖的部分很多是已有思想重组：对象分割、点云 tokenization、LoRA finetune、ICP、IK 都不是新技术；实质创新在于把这些组织成一个不直接训练 action token 的 VLA 架构。

它在技术谱系上更像“3D generative world model as policy interface”的早期版本，而不是成熟的 world model。它没有显式 dynamics model、uncertainty、multi-step planning 或 closed-loop correction。

Dataset / Evaluation

评估范围很窄：主要是 LIBERO 中 drawer-closing，少量 demonstrations，两个 scene，二十次 rollout 量级。Scene 10 相比 Scene 5 增加了桌面物体，用来测试一定的场景扰动；但这仍然不是跨任务、跨机器人、跨物体类别、跨真实传感器的泛化。

没有真机实验，也没有真实 RGB-D 噪声、分割失败、相机外参误差、执行误差累积下的系统性测试。对于一篇主张 robust to occlusions / camera pose variations / viewpoint changes 的论文，当前 evaluation 明显不足。

benchmark 是否验证核心 claim？只能部分验证。它说明在一个结构简单、目标几何明确的任务上，预测点云再配准可以跑通，并且在有限场景变化下不差于 diffusion policy baseline。但它没有证明 morphology-agnostic，因为没有换机器人；没有证明 scalable，因为没有多任务；没有证明 long-horizon reasoning，因为任务是短程单阶段；也没有证明 3D MLLM 真能可靠生成复杂场景演化。

消融方面，location quantization 的 qualitative 对比支持它有用，但文中未充分说明 loss、生成质量、成功率之间的关系，也没有清楚隔离坐标 token、对象分割、VQ-VAE tokenization、LoRA rank 的独立贡献。

Limitation

这篇的核心限制不是“实验还少”这么简单，而是方法成立依赖一组很强的结构假设。

第一，任务必须能被目标点云描述。很多 manipulation 的成功条件不是静态几何后状态，而是过程约束：接触力、摩擦、避障、抓取稳定性、工具使用、可见性管理、重规划。Avi 当前没有对这些建模。

第二，几何变化近似刚体。ICP 隐含假设源点云和目标点云之间存在可配准的刚体或局部刚体变换。对非刚体、 articulated object 的复杂关节运动、多物体联动、遮挡导致的 partial point cloud，这个假设会很脆。

第三，分割和坐标系必须可靠。SAM + lifting 的对象边界错误会直接污染 3D token；location quantization 依赖稳定 workspace 坐标。真实部署中相机标定误差和深度噪声会显著影响后续 ICP。

第四，泛化可能被高估。当前任务与训练 demonstrations 极接近，且 drawer closing 的目标状态强先验明显。模型可能主要学到“抽屉往内移动”的模板，而不是语言条件下可组合的 3D reasoning。所谓 generalization 很可能依赖 benchmark overlap 和任务单一性。

第五，它不是完整 policy，也不是完整 world model。它没有长期状态建模、没有不确定性传播、没有多步搜索、没有 closed-loop correction 的清晰机制。把下一点云预测错一步，ICP 就会输出错误 gripper transform；论文也承认会出现 out-of-step point cloud。

第六，增益来源不清。可能是 3D prior，可能是坐标 token，可能是任务结构，可能是 baseline 设置，也可能是少量数据下 analytic controller 的优势。当前证据不足以支持“3D MLLM 推理能力”是主要原因。

Takeaway

  • 1. 最值得迁移的思想是：不要默认 VLA 的监督对象必须是 action token。
  • 对很多操作任务，object-centric outcome prediction 是更稳定的接口。
  • 2. 3D MLLM 用于机器人时，场景级位置 grounding 是硬缺口。
  • location quantization 虽然简单，但揭示了当前 3D object-level pretraining 到 embodied scene-level control 之间的表示断层。

一句话总结

Avi 是一篇把 VLA 从“语言到动作 token”改写为“语言到 3D 几何后状态再到解析动作”的早期架构探索，真正贡献在于引入 object-centric volumetric outcome 作为机器人控制中间变量，而不是提出一个已被充分验证的通用 3D world model。