ICML 2023 / 数据集/基准

VIMA: Robot Manipulation with Multimodal Prompts

作者：Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen · 会议/期刊：ICML 2023 · 分类：数据集/基准 · 发布日期：2023

具身智能机器人学习操作

精读笔记

Problem Setting

VIMA: Robot Manipulation with Multimodal Prompts（ICML 2023）。

这篇论文实际瞄准的是机器人学习中的任务规范接口问题，而不是单一 manipulation skill。过去 language following、visual goal reaching、one-shot imitation、constraint satisfaction、novel concept grounding 往往各自有专门模型和数据管线，导致能力无法自然合并。VIMA 试图把这些任务全部压到同一种 conditional policy 学习形式里：给定一个多模态 prompt 和交互历史，预测下一步高层动作。

真正难点在于多模态 task specification 的 compositional binding：模型要知道 prompt 中哪张图、哪个词、哪段视频帧对应当前场景里的哪个对象、目标、约束或动作模式。以前方法卡在接口不统一：语言条件模型无法自然表达视觉目标或视频示范；visual goal 模型不处理临时概念定义；one-shot imitation 模型通常不接收复杂文本约束。关键矛盾是机器人任务语义需要实例级视觉引用，而通用 policy 又需要可规模化、可共享的序列接口。

Motivation

已有路线不够的核心原因不是模型容量小，而是 task interface 太窄。语言指令只能表达抽象类别，难以指定“这个杯子”；视觉目标能指定状态，但难以表达约束、数量、关系和新概念；demo 能展示动作模式，但不适合表达安全边界或组合逻辑。每条路线都解决了一部分 specification，却没有统一语法。

作者的观察是：这些 specification 都可以看成 prompt 的不同 token 类型——文本 token 提供关系和操作语义，图像 token 提供实例级引用，视频帧提供过程约束或动作示范。缺口是 robotics 里没有系统 benchmark 去验证这种 prompt-based generalist policy，也没有清楚 recipe 说明怎样让 multimodal prompt 真正进入控制器，而不是作为弱条件被拼接进序列。

Core Idea

论文真正核心是把机器人操作从“按任务设计 policy”改成“按 prompt 条件化同一个序列模型”。这改变了建模方式：任务不再由模型结构或训练头隐式决定，而由输入 prompt 显式指定；policy 学的是一族任务条件分布 π(a_t | P, H)，其中 P 是多模态任务说明，H 是交互历史。

更重要的是它引入了两个强 inductive bias。第一是 object-centric visual representation：视觉不是 dense image patches，而是对象 token 序列。对于 tabletop manipulation，这几乎直接给了模型正确的因子化结构——对象、容器、位置、外观、关系。第二是 encoder-decoder 信息流：prompt 被独立编码，控制器每一步 cross-attend 到 prompt。相比把 prompt、observation、action 全部拼进 GPT 式长序列，这种设计更像显式条件控制，减少任务信号被历史 token 稀释的风险，也更适合多步 manipulation 中反复查询目标和约束。

Method

1. Multimodal prompt formulation：它解决的是 heterogeneous task specification 无法共享 policy 的问题。文本、单物体图像、场景图像、视频帧都被视为 prompt token 的组成部分。核心变化不是多了一个输入模态，而是把任务定义从外部 pipeline 移到模型输入中。

2. Object-centric tokenization：它解决的是从像素直接学对象绑定和空间关系过于低效的问题。通过 detector 把 prompt 图像和 observation 图像解析成对象 token，模型面对的是小规模对象集合而非大规模 patch grid。这对桌面操作是非常强的结构先验，可能是样本效率和组合泛化的主要来源。

3. Prompt encoder + cross-attention controller：它解决的是 prompt 条件如何稳定影响每个决策步的问题。prompt 作为 key/value，交互历史作为 query，controller 在每层反复读取任务说明。核心变化是任务上下文保持为独立 memory，而不是一次性拼接到历史前缀。

4. Behavioral cloning on oracle trajectories：它解决的是规模化训练数据来源问题。这里没有在线 RL，也没有探索问题；policy 学到的是 oracle demonstration distribution。这个选择让论文专注于 specification 和 generalization，但也把很多难点转移到了 scripted oracle 和程序化任务生成。

Key Insight / Why It Works

最可能真正有效的部分是 object-centric representation，而不是“大 Transformer”本身。桌面 manipulation 的状态空间天然对象化：目标对象、容器、约束线、相对位置、纹理匹配。把输入先分解成对象 token 后，模型需要学习的是对象间绑定和动作映射，而不是从像素中同时学习检测、分割、关系和控制。消融中 raw pixel patch / Perceiver / single image token 都明显弱，基本支持这个判断。

第二个有效点是 cross-attention 把 prompt 变成可反复读取的任务 memory。很多任务需要在多步执行中保持目标、数量、约束或原始位置；decoder-only 拼接容易把 prompt 当作远距离前缀，尤其在小模型或长历史下不稳定。VIMA 的结构让每一步都重新对齐 prompt 和当前状态，这更像 conditional policy than generic sequence modeling。

但需要直接指出：这篇的“推理”很可能主要是模板化 grounding / retrieval / binding，而不是开放式 reasoning。Novel concept grounding 中的 dax、blicket、kobar 等概念是在受控 prompt 模板中定义和使用；visual reasoning 多是 same texture/profile、neighbor、restore 这类有限关系。模型表现好并不说明它获得了一般推理能力，而说明在对象化输入和大量程序化覆盖下，Transformer 可以学习相当强的 in-context binding。

Scaling 的作用存在，但不是最本质。结果显示 VIMA 在小模型下已经很强，扩大模型带来的边际提升有限；T5 大小也影响不大。这说明主要收益不是语言模型语义能力或参数规模，而是任务表示与 benchmark 结构匹配。增益更像 better inductive bias + data coverage，而不是 foundation-model-style emergence。

也存在 evaluation bias：VIMA-BENCH 的任务由模板生成，train/test 即便在 L4 novel task 中也共享对象集合机制、动作 primitive、视觉风格和底层语法。L4 breakdown 中 one-shot imitation 和 visual constraint novel task 多数为 0，平均成功率主要由某些可组合任务拉高。因此“zero-shot novel task generalization”应谨慎理解为在同一程序化任务族中的模板外插，而不是真实开放任务泛化。

Relation To Prior Work

最接近的技术谱系是 Gato / Decision Transformer / Flamingo / Frozen / T5-style sequence unification 加上机器人领域的 Ravens / CLIPort / Transporter object manipulation。VIMA 的新意不在 Transformer，也不在 BC，而在把 multimodal prompting 明确搬到 manipulation task specification，并为此构造了 benchmark 和可工作的 agent recipe。

和 Gato 的本质差异：Gato 更像多域 token 混合的 decoder-only generalist，任务通过上下文序列隐式指定；VIMA 更强调 prompt 是任务说明，并用 encoder-decoder cross-attention 显式条件化控制器。和 Flamingo 的差异：Flamingo 面向视觉语言生成，VIMA 把类似 interleaved multimodal prompt 接到 action decoding 上。和 CLIPort / Transporter 的差异：后者通常是语言条件或特定任务结构下的空间 action prediction，VIMA 试图覆盖多种 prompt 形式和任务类别。

看似新的部分中，多模态序列化、prompt conditioning、object proposal priors 都有前史；实质创新是把这些思想组合成一个针对 robot task specification 的统一 benchmark + agent，并用系统消融证明 object-centric + cross-attention 是当前这个设定下更好的 recipe。

Dataset / Evaluation

VIMA-BENCH 的价值在于它第一次比较系统地覆盖了多模态 prompt manipulation：简单操作、视觉目标、novel concept、one-shot imitation、视觉约束、视觉关系/记忆等。它也提供四级 generalization protocol，从位置随机化到组合、novel object、novel task，至少比单一任务 benchmark 更能暴露泛化差异。

但 evaluation 主要验证的是“在程序化 tabletop 模板分布上，统一 prompt interface + object-centric policy 可行且优于若干合理 baseline”。它没有验证真实世界泛化，没有验证低层连续控制，没有验证复杂接触动力学，也没有验证开放词汇/开放任务。任务覆盖看起来广，但共享同一 simulator、同一对象库、同一动作 primitive、同一 oracle 生成逻辑，因此 claim 的边界应限定在 structured tabletop manipulation。

实验支持 object-centric tokenization 和 cross-attention conditioning 的有效性；不支持更强的说法，比如 VIMA 已经具备通用机器人推理能力。尤其 L4 novel task 的平均数掩盖了任务间巨大差异：某些 novel task 完全失败，说明泛化不是均匀能力，而是对部分模板组合的迁移。

Limitation

第一，方法把很大一部分感知问题转移给了 object detector。VIMA 依赖检测框和 crop 构成对象 token；一旦遇到遮挡、透明物体、非刚体、复杂背景、真实传感噪声，优势可能迅速下降。文中用 fine-tuned Mask R-CNN 和 object augmentation 缓解，但这不是开放世界感知。

第二，动作空间是高层 primitive，不是完整机器人控制。pick-place / wipe 这种 action abstraction 大幅降低了 dynamics 和 control complexity。若换成 joint torque 或连续末端轨迹，当前序列建模 recipe 是否仍成立文中未充分说明。

第三，泛化可能主要来自 benchmark 的程序化覆盖和对象级结构先验。L2/L3 的组合和 novel object 泛化在对象 token 下相对容易，因为纹理、形状、位置被显式因子化；这不等价于真实环境中的 semantic generalization。

第四，所谓 reasoning / memory 能力可能是假象。restore、same texture、neighbor 等任务有明确模板和有限关系集合，模型更可能学到模式匹配与 slot binding，而非形成可迁移的规划机制。没有证据表明它能处理更长 horizon、更深组合或自然语言中未模板化的约束。

第五，增益归因仍有不清晰处。VIMA 同时改变 visual tokenizer、prompt conditioning、object detector supervision、数据格式和 benchmark 设计；虽然有消融，但 object-centric 表示本身含有强 hidden supervision。对 raw-pixel baseline 是否公平，取决于我们是否认为 detector 是允许的外部先验。

Takeaway

  • 1. 这篇真正推动的是 robot task specification interface，而不是控制算法本身。
  • 把任务说明做成 interleaved multimodal prompt，是一个值得迁移的设计方向。
  • 2. 对 structured manipulation，object-centric token 是比 image patch 更强、更数据高效的中间表示。
  • 未来通用机器人模型如果完全端到端从像素学，可能在样本效率上长期吃亏；更现实的路线是开放词汇检测/分割 + policy transformer。

一句话总结

VIMA 是把多模态 prompt learning、对象级表示和 Transformer 条件控制整合到机器人操作中的早期 generalist manipulation benchmark/recipe，其核心贡献是统一 task specification 并证明 object-centric prompt-conditioned policy 在结构化桌面任务上显著更可扩展。