Science Robotics / Research Article

A retrieval-augmented framework enabling VLM spatial awareness for object-centric robot manipulation

作者：Kai Chen, Chengkun Li, Chang Tu, Jiahui Pan, Yiyao Ma, Wei Chen, Zhongxiang Zhou, Xuecheng Xu, Stephen James, Chi-Wing Fu, Rong Xiong, Pieter Abbeel, Yun-Hui Liu, Qi Dou · 单位：Department of Computer Science and Engineering, Chinese University of Hong Kong, HKSAR, China, Department of Mechanical and Automation Engineering, Chinese University of Hong Kong, HKSAR, China, Zhejiang Humanoid Robot Innovation Center Co. Ltd., Ningbo, Zhejiang, China, Imperial College London, London, UK, College of Control Science and Engineering, Zhejiang University, Hangzhou, Zhejiang, China, University of California, Berkeley, CA, USA · 来源：Science Robotics · 发布日期：2026-04-29 · DOI：10.1126/scirobotics.aea2092

视觉语言动作操作强化学习机器人

精读笔记

Problem Setting

论文标题：A retrieval-augmented framework enabling VLM spatial awareness for object-centric robot manipulation（Science Robotics / 2026）。

这篇论文瞄准的不是一般意义上的 language-conditioned manipulation，而是 VLM 作为 planner 时最薄弱的一段：从语义意图到可执行 3D 几何约束的落地。很多 VLM-based robot system 可以说出“把碗放到盘子上”“让相机对准玩具熊”“按目标图像摆好餐具”，但这些描述在执行层面缺少可验证的对象姿态、功能面、抓取方向、相对位置和避障约束。

真正困难点在于：manipulation 的正确性通常由几何细节决定，而不是语义动作标签决定。一个计划语义上合理，不代表它在当前场景下可抓、可放、可对齐、不会碰撞、不会因为尺寸/高度不匹配失败。VLM 的知识来自 2D 图文统计，对 3D 对象结构、功能区域和物理可行性没有可靠 grounding，因此在空间细节上很容易 hallucinate。

以前方法大致卡在两端：一端是 task-oriented grasp / affordance prediction，把低层局部可操作性做得更好，但高层 planner 仍然不知道后续几何可行性；另一端是给 VLM 叠 keypoints、arrows、scene graph 或 value maps，改善视觉上下文，但信息通常碎片化，难以形成跨对象、跨步骤、可执行的空间约束表示。关键矛盾是：VLM 擅长抽象任务分解，机器人执行需要精确几何约束；两者缺一个共同的、可组合的中间语言。

Motivation

作者最重要的动机判断是：继续把空间能力 fine-tune 进 VLM 参数里，可能不是最经济也不是最可靠的路线。3D 物体的形状、姿态、功能面、抓取方式、物理交互组合空间太大，高质量 3D interaction data 又稀缺。即便 fine-tuned spatial VLM 在 benchmark 上变好，它学到的仍是隐式、不可验证、难以控制的 spatial prior。

RAM 的出发点是：机器人操作所需的很多空间知识并不应该由 VLM 现场猜，而应该被显式存储、检索、ground、验证。缺的不是更会说空间词的 VLM，而是一个把对象类别知识转成当前实例几何约束的外部结构。

这个方向的关键缺口是“对象中心的可执行 spatial memory”。传统 retrieval-augmented generation 检索文本事实；这里检索的是对象级几何和操作先验：canonical coordinate、symmetry、functional planes、stable grasps、size/pose 等。作者真正想补的是 VLM 与 motion optimizer 之间缺少的结构化接口。

Core Idea

RAM 的核心思想可以概括为：不要让 VLM 在像素或语言空间里直接推理物理世界，而是先把场景重写成对象中心的 3D 结构，再让 VLM 在这个结构上选择、组合和参数化空间约束。这个建模方式把 manipulation 的中间表示从自然语言 plan 转换成 object-centric constraint program。

它引入的 inductive bias 很强：物体类别有稳定的 canonical frame；同类物体之间存在可迁移的功能区域与抓取先验；任务相关空间关系可以被表达为点-点、点-面、面-面等约束；VLM 更适合做符号/关系层面的选择，而不是直接生成连续 6D pose。这个 bias 使问题从“VLM 学会全部 3D 物理”变成“视觉模块把模板知识 ground 到实例，VLM 在 ground 后的 priors 上做组合”。

和 prior 的本质区别不在于又加了一个 perception module，而在于信息流被重新组织了：以前很多方法是 VLM 先计划，perception/optimizer 后验证；RAM 让检索到的对象结构先进入上下文，使 planner 在生成 subgoal 时已经看到可用的功能面、尺寸、抓取和空间关系。理论上这会减少 infeasible plan，也让低层轨迹优化不再被迫解释模糊语言动作。

Method

方法层面值得保留的机制只有几个。

第一，category-level object-centric engine。它解决的是 VLM 缺少稳定 3D 物体知识的问题。这里的模板不是简单 CAD，而是带有 manipulation semantics 的 category prior：canonical pose、size、symmetry、valid grasps、functional planes、文本描述等。它的核心变化是把空间知识变成可检索、可检查、可扩展的外部 memory，而不是 VLM 参数中的隐式统计。

第二，category-level visual grounding。它解决的是模板先验如何迁移到当前实例的问题。通过基于 DINOv2 的 feature lifting 和 dense correspondence，系统把 canonical template 上的点、面、抓取等对齐到 RGB-D 观测中的对象。这一步是 RAM 是否成立的关键，因为如果 grounding 不稳，后面 VLM 的“空间推理”只是建立在错误几何上。

第三，retrieval-augmented task planning。它解决的是 VLM 输出不可执行的问题。VLM 接收的不只是图像和指令，而是 ground 后的对象尺寸、姿态、功能面、抓取描述等 augmented context；输出也不只是动作文本，而是带对象中心约束的 subgoals。这里 VLM 的角色更像 constraint selector / composer，而不是 continuous controller。

第四，constraint-based trajectory optimization。它解决的是把 VLM 约束转为机器人运动的问题。论文沿用类似 VoxPoser 的 voxel cost field 思路，但关键变化在于 cost maps 的来源更对象中心、更功能化：affordance、avoidance、rotation、gripper state 都由 ground 后的功能区域和约束驱动。这个部分重要，但更像系统集成与 execution bridge，不是最核心创新。

Key Insight / Why It Works

这篇论文最有效的部分不是“VLM 更聪明了”，而是它显著缩小了 VLM 需要解决的问题空间。VLM 不再需要从 RGB image 中凭常识猜“碗口在哪里、盘子平面在哪里、勺柄朝向是什么、哪个 bin 尺寸合适”，这些信息被外部对象库和 grounding 模块显式提供。VLM 只需要在候选功能结构之间做组合和选择，这正好落在大模型较擅长的关系推理与程序化分解范围内。

最可能的核心贡献是对象中心 priors + dense grounding + constraint interface 三者的闭环。单独看 retrieval、template、DINO feature、trajectory optimization 都不是新东西；真正有价值的是它们被组织成一个能让 VLM 和 motion planner 共享同一套空间变量的接口。这个接口减少了语义-几何 mismatch，也让失败更可定位：是分割错、grounding 错、VLM 选错约束，还是优化器不可达。

这本质上属于 better inductive bias + memory reuse + test-time retrieval，而不是端到端 scaling。它用外部 memory 复用类别级物理知识，用 category-level correspondence 做实例化，用 test-time context injection 改变 VLM 的 planning distribution。相比训练一个 spatial VLM，这种方式更可解释，也更符合机器人系统工程现实。

但需要直接指出：部分增益可能主要来自 structured supervision 和模板覆盖，而不是 emergent spatial reasoning。VLM 在这里的“推理”很大程度上是对显式 priors 的选择与重组；这当然有价值，但不应被解读为 VLM 获得了内生 3D 物理理解。尤其在 desk-cleaning 这类任务里，是否真的进行了复杂物理推理，还是利用尺寸/高度阈值做了显式可行性判断，文中未充分说明。

另一个判断是：visual grounding benchmark 上的提升很可能相当依赖 feature lifting 和合成训练数据的覆盖。作者强调 unseen categories，但训练来自 ShapeNet base categories，测试 CO3D 类别虽然不同，仍可能共享强烈的形状与视角统计；这不是 benchmark leakage，但泛化的强度不能等同于开放世界泛化。所谓 category-level generalization 更准确地说是“在相似对象形态分布上的模板对应泛化”。

Relation To Prior Work

这篇论文最接近三条线：VoxPoser/ReKep/CoPa/OmniManip 这类用 LLM/VLM 生成空间约束或 value maps 的 manipulation planning；SpatialVLM/SpatialRGPT/SpatialBot 这类试图增强 VLM 空间能力的模型训练路线；以及 category-level pose estimation / foundation-feature correspondence 这类 3D grounding 路线。

和 VoxPoser 类方法相比，RAM 的关键差异是约束不是直接从 VLM 对场景图像的理解中生成，而是先经过对象中心模板检索与实例 grounding。VoxPoser 更像让 LLM/VLM 编 value maps；RAM 更像让 VLM 在一个已结构化的 object-centric geometry database 上编 constraint program。

和 ReKep / keypoint-based 方法相比，RAM 的表示更偏对象功能结构，而不是稀疏 keypoints。keypoints 对一些相对关系足够，但功能面、对称性、稳定抓取、开口平面、支撑平面等更接近 manipulation 的自然单位。这里的实质创新是把 affordance 不是表示成热力图，而是表示成可检索、可 ground、可组合的对象属性。

和 spatial VLM fine-tuning 路线相比，RAM 的本质差异是 externalized spatial knowledge。它不追求让模型参数记住所有空间规律，而是用 retrieval + grounding 在推理时注入事实。这更像 RAG 在机器人领域的结构化版本，只是检索对象从文本段落变成了几何-功能模板。

看似新的地方有一部分是已有思想重组：DINOv2 feature、template matching、canonical coordinate、functional affordance、voxel cost fields、LLM planning 都有先例。真正新增的信息是：把这些组件统一到“对象中心空间约束”这个中间层，并证明这个中间层能让通用 VLM 在真机 manipulation 中表现出更可靠的 spatial awareness。

Dataset / Evaluation

评估覆盖面在系统论文里算比较完整：有真机、多对象、多步骤、语言指令、目标图像引导、物理约束自适应规划，也有 CO3D 上的 grounding benchmark 和自建 VQA 空间理解测试。它确实比只做 simulator 或只做 single-task demo 更能支持系统有效性。

但 evaluation 对核心 claim 的支持需要分层看。真机 14 类场景说明 RAM 能在受控桌面操作中把语言/图像目标转成可执行动作，这支持“object-centric retrieval helps VLM manipulation”。CO3D 说明 grounding 模块在一些 unseen categories 上有较好 pose generalization，这支持“category-level correspondence 有用”。VQA 说明 augmented context 能提升空间问答准确率，但 VQA 与真实操作之间仍有鸿沟。

不足也明显。首先，任务多样性仍集中在桌面刚体摆放、重排、对齐、清扫这类几何约束主导任务；接触动力学、非刚体连续变形、双手协作、动态场景和长期状态维护没有被充分验证。其次，很多 real-world trial 的对象类别和功能结构可能都在模板库可覆盖范围内，因此 zero-shot 更像 task-level zero-shot，不是 category-open zero-shot。

此外，缺少足够强的 ablation 来做增益归因。比如去掉功能面只保留 pose、去掉 dense correspondence 改用 bbox/center、用同样 VLM 但不注入模板、用相同模板但不用 VLM 等，这些会更清楚地回答 RAM 到底赢在哪里。文中有不同 VLM 对比和 benchmark 对比，但对于系统内部贡献的拆解仍不够充分。

Limitation

第一，方法成立强依赖模板库。每个类别需要 canonical mesh、功能面、抓取先验、语义描述等，这些不是免费得到的。作者说这是 one-time investment，但如果扩展到家庭长尾物体、工具、包装、柔性物、可变形容器，这个成本会迅速变成主要瓶颈。问题不是 VLM 不会空间推理了，而是人或数据管线要提前把空间知识编码进库里。

第二，泛化边界主要由 correspondence 决定。只要目标实例和模板在拓扑、功能布局、可见区域上足够相似，RAM 会很强；一旦类别内部功能结构变化很大，例如不同杯柄、折叠衣物、软袋、复杂铰接物、破损或非典型工具，dense matching 到 canonical prior 可能产生语义上错误但几何上看似合理的对齐。

第三，VLM 的 reasoning 可能被高估。系统把大量可行性信息显式喂给 VLM 后，VLM 做的是选择、排序、组合约束。这个能力很实用，但和真正形成物理世界模型不同。尤其长期任务中，planner 是否维护了随动作变化而更新的状态、是否能基于失败反馈修正 belief，文中未充分说明。

第四，低层可行性没有完全进入高层规划闭环。作者也承认存在 kinematic constraints 未完全整合的问题。只要 VLM 输出的空间约束在语义和对象层面合理，但机器人臂不可达、夹爪姿态受限、路径狭窄或接触过程不稳定，系统仍会失败。RAM 缩小了 semantic-geometric gap，但没有彻底解决 task and motion planning 的闭环可行性。

第五，增益来源不清。RAM 同时使用强 VLM、Grounded SAM、DINOv2、feature lifting、模板 priors、RGB-D、VGGT、voxel optimizer。任何一个都可能贡献大量性能。论文证明了组合系统有效，但没有充分证明每个机制的必要性，尤其是 retrieval augmentation 相比更强 structured prompting 或更好 perception 的独立贡献。

第六，对遮挡和动态世界仍脆弱。论文显示中等遮挡可承受，重遮挡下降，这是纯视觉系统的典型限制。对于真实家庭环境，遮挡、反光、透明物、堆叠、手眼误差和执行扰动会比 benchmark 更严重。没有 tactile/active perception 闭环时，系统上限明确。

Takeaway

  • 1. 最值得记住的是中间表示：让 VLM 输出 object-centric spatial constraints，而不是自由文本动作或直接 6D pose。
  • 这个接口可能比继续做更大 spatial VLM 更务实。
  • 2. Retrieval 在机器人里真正有价值的形态不是检索说明书文本，而是检索可 ground 到当前场景的几何-功能结构。
  • RAG 的对象从 language facts 变成 manipulation priors，这是可以迁移到导航、装配、工具使用和多模态 TAMP 的 insight。

一句话总结

RAM 是一条把 VLM 机器人操作从“语义规划 + 后验执行”推进到“检索式对象中心几何约束规划”的 hybrid 系统路线，真正贡献在于用显式可 ground 的 manipulation priors 重构了 VLM 与 motion planner 之间的中间接口。