CoRL 2025 / Poster #209

3DS-VLA: A 3D Spatial-Aware Vision Language Action Model for Robust Multi-Task Manipulation

海报操作视觉语言动作/视觉语言模型感知

精读笔记

Problem Setting

论文标题：3DS-VLA: A 3D Spatial-Aware Vision Language Action Model for Robust Multi-Task Manipulation（CoRL 2025）。

这篇论文不是在做一个新的通用 VLA backbone，而是在处理一个很具体的矛盾：机器人操作需要 3D 几何和接触级位姿精度，但当前最可扩展的 VLA 预训练资产主要是 2D VLM；直接用 2D 图像做 action prediction 在最终接触、遮挡、相对位姿变化时不够稳，而直接训练 3D policy 又缺少类似互联网图文规模的预训练支撑。

真正困难点有两层。第一层是 representation mismatch：点云天然在 metric 3D space 中，而 CLIP/VLM 的视觉编码器是在 2D patch + 2D positional embedding 上预训练的；如果硬塞点云 token，Transformer 并不知道这些 token 与原有视觉语义空间如何对齐。第二层是 policy learning mismatch：从 observation/language 直接到 end-effector pose，会把 affordance grounding、阶段判断、目标关系和控制全部压成一个监督映射，数据稍少时容易学成任务模板检索，而不是稳健的空间交互。

因此这篇论文实际解决的是：如何在不放弃 2D VLM 预训练优势的情况下，把 3D metric observation 和显式 affordance constraints 接入 VLA policy，使其在多任务、单/双臂和真机场景中更稳。

Motivation

已有路线的问题比较清楚。2D VLA 的优势是 semantic prior 和 scale，但它对 3D 几何的使用通常是隐式的：单张 RGB 或 RGB-D 图像进入 2D encoder，policy 需要自己从视觉纹理中推断深度、相对位置和接触关系。对 tabletop manipulation 来说，这在粗粒度 pick-place 上可能够用，但在插入、堆叠、开关、倒水、双臂协作等任务中，最后几厘米的误差就是成败差别。

3D imitation learning 则反过来：它有点云、voxel、3D feature field 或 diffusion policy 等几何表征，但通常没有足够强的 3D-language-action 预训练。用 3D encoder 从头学在 RLBench 这类有限 demonstration 上容易过拟合；把 3D 投影到多视图图像会丢掉原始 metric 结构；把 2D feature lift 到 3D latent space 又仍然依赖 2D feature 的可见性与深度质量。

作者的核心观察是：与其构造一个新的 3D foundation model，不如让点云以一种“2D VLM 可解释”的形式进入已有 2D encoder；同时，操作中的空间-时间关系不应该完全隐式学习，可以通过 keypoint constraint 显式提供。也就是说，缺的不是更大的 action head，而是两个 inductive bias：metric 3D observation bias 和 affordance-stage constraint bias。

Core Idea

论文真正的核心思想是把 3D manipulation policy 拆成两个可迁移的对齐问题：一是把 3D observation 对齐到 2D VLM 的 token/position space，二是把任务交互结构对齐到 LLM 可消费的文本 constraint space。前者解决“2D VLM 怎么看点云”，后者解决“policy 怎么知道当前应该围绕哪个 affordance 交互”。

2D-to-3D positional alignment 是这篇比较关键的 representation trick：点云 token 不是随机加新 PE，也不是简单复用同序号 PE，而是通过相机投影找到它对应的 image patch，并使用该 patch 的 pretrained 2D PE。直觉上，这等于告诉 CLIP：这个 3D 局部几何来自你原本熟悉的图像区域。它没有让 CLIP 先天理解完整 3D 拓扑，但给了一个最低成本的跨模态锚点，使 LoRA 微调可以把 3D token 接到原有视觉语义空间。

3D spatial constraint 则改变了 policy 的信息流：不再让模型从图像中自行发现“下一步应该靠近哪个物体/部件”，而是把 keypoint 序列、当前 robot state 与目标 keypoint 的关系写进 prompt。这个设计引入了强 affordance prior，也把长程任务压缩成一串局部 keypose prediction。其本质差异不是 LLM 更会推理，而是通过外部 keypoint 把 action prediction 的条件分布变窄了。

Method

方法中值得保留的机制只有三件事。

第一，点云 token 化不是为了做强 3D 表征学习，而是为了构造与 2D patch token 兼容的输入接口。非参数 3D tokenizer 用 FPS/kNN/local pooling 形成固定数量、固定维度的 3D tokens，核心作用是避免额外训练一个重 3D encoder，同时让点云能进入 CLIP 的 token 序列。这是一个工程上很干净的 adapter，而不是完整 3D perception module。

第二，2D-to-3D PE alignment 解决的是 token identity 问题。Transformer 中 token 的空间含义主要来自 PE；如果 3D token 的 PE 与其真实图像区域不一致，模型看到的是语义错位的 token。通过把 3D token center 投影回 2D patch 并继承对应 2D PE，模型获得了一个跨 2D/3D 的局部一致性约束。这个机制的核心变化是：点云不再是独立 modality，而是 2D visual token 的 metric extension。

第三，3D keypoint constraint 是对 policy learning 难度的重参数化。外部 grounding 模型从语言中的 object phrase 得到 mask，再转成 3D keypoint；执行时按 keypoint 序列逐步切换目标，并把当前 robot state 与目标 keypoint 的关系作为文本条件输入。它解决的是 affordance selection 和 temporal phase ambiguity，而不是低层控制本身。对单臂/双臂统一输出，自回归离散化 SE(3) action 只是承载形式。

需要注意，文中很多组件——LLaMA 7B、CLIP、LoRA、projection、自回归动作 token——更像标准 VLA 工程栈。真正改变建模假设的是 aligned 3D token 和 keypoint constraint conditioning。

Key Insight / Why It Works

最可能真正有效的是 3D spatial constraint，而不是所谓完整 3D awareness。消融里从纯 2D VLA 到加入 constraint 的提升最大，说明模型收益主要来自给定了 affordance-relevant subgoal 和阶段提示。换句话说，它把很多本来需要 policy 从 demonstration 中学的 latent structure 显式暴露出来了：目标物体在哪里、当前阶段靠近哪个点、什么时候切换到下一个交互对象。这是一种很强的 hidden supervision。

3D token + aligned PE 的贡献更像 representation alignment bias。它可能提升接触阶段精度，因为点云提供 metric geometry；aligned PE 让 2D pretrained encoder 不至于把点云 token 当成无意义的异分布 token。这个设计很合理，但从实验看增益相对较小。文中未充分说明点云 token 中到底学到了哪些几何能力，也没有足够隔离“深度/点云提供的 metric 信息”与“keypoint 已经提供了目标坐标”之间的贡献重叠。

这篇方法本质上不是 test-time reasoning，也不是 LLM 规划能力突破，而是 better inductive bias + external structure injection。LLM 的作用更像一个统一的条件序列建模器：把语言、robot state、keypoint constraint、视觉 token 和 action token 放在同一个 autoregressive interface 下。所谓 spatiotemporal reasoning 更接近将时间阶段编码为 prompt 条件后的 conditional imitation，而不是模型自主形成长期状态模型。

另一个有效原因是它很好地复用了 memory：2D VLM 的语义知识通过 CLIP/LLaMA 保留，3D 几何通过轻量 token 接入，动作学习只需要 LoRA 和 projection 微调。这让它在小规模 imitation 数据上比从头训练 3D policy 更稳。但这也意味着上限受制于预训练模型能否接受这种跨模态 token hack，以及外部 keypoint 是否可靠。

我会把贡献排序为：1) keypoint constraint 作为 affordance/phase prior，是主要性能来源；2) 2D-to-3D PE alignment 是有实质性的跨模态对齐 trick；3) 统一单臂/双臂 autoregressive action generation 是有用工程设计；4) “comprehensive 3D spatial awareness”这个表述偏强，当前证据更支持“带外部 3D subgoal 的 VLA policy”。

Relation To Prior Work

这篇最接近三条谱系的交叉：OpenVLA/RT-2/CogAct 这类 2D VLA，PerAct/RVT/DP3/3D Diffuser Actor 这类 3D imitation policy，以及 VoxPoser/ReKep 这类 keypoint/constraint-based manipulation。

相对 2D VLA，真正新增的信息是 metric 3D observation 和 explicit 3D subgoal constraint。不是简单多一个 depth channel，而是让点云 token 通过 PE alignment 进入 pretrained 2D encoder，并让目标 keypoint 进入语言条件。这使它比纯 RGB VLA 更适合接触级位姿预测。

相对 3D imitation learning，它的差异在于不试图训练一个完整 3D backbone，而是把 3D 当作 2D VLM 的扩展输入。RVT 类方法用虚拟视角把 3D 转回 2D；3D Diffuser Actor/Lift3D 类方法把 2D feature lift 到 3D；3DS-VLA 更像反向做法：把点云 token 化后送进 2D pretrained token space。这个对齐方式是实质创新点之一。

相对 ReKep/VoxPoser，它不是 training-free planner，也不直接把 keypoint constraint 用作优化目标，而是把 keypoint 作为 imitation policy 的条件输入。这里的新意是把 constraint-based manipulation 的显式结构嫁接到 VLA policy training 中。但 keypoint extraction、object grounding、阶段切换这些思想本身并不新，更多是重组到 VLA 框架内。

因此这篇论文的位置可以概括为：不是纯 VLA scaling，也不是纯 3D policy，而是“2D foundation model + 3D token alignment + keypoint-conditioned imitation”的混合路线。

Dataset / Evaluation

评估覆盖 21 个 RLBench 单臂任务、5 个 RLBench2 双臂任务和 10 个 FR3 真机任务，任务类型包含 pick-place、开关、堆叠、倒水、擦拭、插拔、双臂搬运等。作为 manipulation paper，覆盖面是比较完整的，至少支持“多任务”和“单/双臂统一接口”的 claim。

实验最有价值的是同时对比 2D VLA baseline 和 3D IL baseline，因为这能检验论文声称的两端优势：比 2D VLA 更有几何，比 3D policy 更能利用预训练。结果方向上是支持的，尤其双臂 setting 中统一 autoregressive 输出相对 leader-follower baseline 有优势。

但 evaluation 对核心 claim 的支持仍有限。首先，真机每任务 demonstration 和 trial 数都不大，更多证明 feasibility，而不是强泛化。其次，所谓 instance/background/view/position generalization 的设置规模有限，且 keypoint constraint 已经显式提供目标位置，泛化收益有多少来自模型空间理解、有多少来自外部 keypoint 更新，增益来源不清。第三，RLBench 和 RLBench2 的任务结构高度 keyframe 化，适合这种 next-keyframe pose prediction；这不等价于连续闭环长期操作能力。

消融也不够彻底。文中比较了 constraint、3D tokens、aligned PE，但没有充分拆开 keypoint 来源质量、keypoint 顺序、文本 formulation、depth-only vs point-cloud、multi-view vs single-view 等因素。因此 benchmark 支持“这个组合有效”，但还不能完全支持“模型获得了 comprehensive 3D spatial awareness”。

Limitation

最核心的限制是方法把难题的一部分转移到了外部 perception 和 heuristic task decomposition。Grounded SAM 负责找 object mask，keypoint sequence 由语言顺序/启发式决定，执行阶段按距离阈值切换目标。只要 keypoint 错、目标部件不对、顺序不适合任务，policy 的所谓 reasoning 就会崩。文中也承认 keypoint generation 是失败来源，但没有系统量化外部模块错误对 policy 的影响。

第二，泛化可能被高估。很多泛化来自显式输入的目标坐标变化，而不是模型学会了更抽象的 task relation。比如位置变化时，如果 keypoint 已经提供新目标位置，policy 只需要条件化生成局部动作；这当然比纯图像 policy 稳，但不能说明它具备强组合推理。所谓 reasoning 更像 retrieval + conditioned regression。

第三，3D awareness 的上限受限于单视角点云和 CLIP token space。单视角深度有遮挡和缺失，CLIP 的 2D PE 本身并不编码 metric depth；aligned PE 只是把 3D token anchor 到 2D patch，不保证模型理解 3D 拓扑、物体背面、接触法向或物理约束。对复杂装配、遮挡抓取、透明/反光物体、多物体接触，这个机制可能不够。

第四，长程和双臂协作没有真正的状态/计划建模。模型预测下一关键帧动作，但双臂中一个手臂改变物体状态后，另一个手臂的动作可能失效；文中失败案例正说明同步与因果状态更新缺失。当前架构更像多输出 pose predictor，而不是 bimanual coordination planner。

第五，增益归因不清。constraint 带来 19% 左右提升，而 aligned PE 只带来较小增益；因此若去掉外部 keypoint 或换成 noisy real perception，方法是否仍显著优于强 3D policy，文中未充分说明。可能主要来自 engineering / data / hidden supervision，而不是 VLM 内生空间推理能力。

Takeaway

  • 1) 对机器人 VLA 来说，直接 scaling 2D VLM 不够；最短期有效路线很可能是把 metric 3D 和 affordance structure 作为显式条件接进去，而不是等待模型从 RGB 中自行学出几何。
  • 2) 2D-to-3D PE alignment 是一个值得迁移的 trick：如果想让 2D pretrained Transformer 接受 3D token，关键不是 token 维度匹配，而是 token 的空间身份要对齐到预训练 PE 语义。
  • 3) Keypoint-conditioned VLA 可能是未来一段时间 manipulation 的强 baseline：它牺牲端到端纯度，换来数据效率、鲁棒性和可解释阶段控制。
  • 但真正难题会转移到 open-vocabulary part grounding、keypoint ordering、constraint verification 和 failure recovery。

一句话总结

3DS-VLA 是一条务实的 3D-aware VLA 演化路线：通过把点云对齐到 2D VLM token space、把 affordance keypoint 作为显式约束输入，它主要用 representation alignment 和 hidden task structure injection 提升多任务操作鲁棒性，而不是证明了 VLM 已具备内生 3D 推理能力。