CoRL 2024 / 视觉语言动作模型

Robotic Control via Embodied Chain-of-Thought Reasoning

作者：Michał Zawalski, William Chen, Karl Pertsch, Oier Mees, Chelsea Finn, Sergey Levine · 单位：UC Berkeley, University of Warsaw, Stanford University · 会议/期刊：CoRL 2024 · 分类：视觉语言动作模型 · 发布日期：2024

具身智能机器人学习强化学习规划

精读笔记

Problem Setting

论文标题：Robotic Control via Embodied Chain-of-Thought Reasoning（CoRL 2024）。

这篇论文解决的不是“机器人能不能 CoT”这种表层问题，而是 VLA 在泛化场景下缺少显式中间决策结构的问题。当前 VLA 通常把图像、语言指令直接映射成动作 token，这在训练分布内有效，但遇到新物体、空间关系、语言组合或视角变化时，模型很容易把视觉语义、当前阶段和动作方向混在一个不可解释的 latent mapping 里。

真正困难点是：机器人控制中的错误通常不是单一语义推理错误，而是 grounding-conditional control 错误。比如模型知道“把可食用物放进碗”这类语义，但未必能在当前画面中定位 edible object、判断 gripper 是否已抓取、决定下一步该移动还是释放。以往方法卡在两个极端：端到端 VLA 有行动能力但中间状态不可控；LLM planner 有高层分解但低层 grounding 和控制依赖另一个 policy，计划与动作之间断裂。

这篇论文抓住的关键矛盾是：为了泛化，policy 需要显式推理；但为了控制，推理必须和视觉/机器人状态强绑定，而不能只是语言层面的任务分解。

Motivation

已有路线不够的原因很明确。OpenVLA/RT-2 这类 VLA 的优势是 scalable imitation learning：把 VLM backbone 直接 fine-tune 成动作生成器。但这种 recipe 实际上没有利用 LLM/VLM 最有价值的能力之一——在输出前形成可组合的中间结构。模型可能学到了强视觉语言表征，却在控制端退化成一个 reactive policy。

普通 CoT 也不是直接答案。机器人里的 CoT 如果只写“先拿起物体，再放到目标”，对动作选择帮助有限，因为很多失败来自“哪个物体”“在哪里”“现在是否已经抓住”“该往哪个方向移动”。因此关键缺口不是缺 plan，而是缺 embodied plan：高层任务结构、当前视觉状态、末端执行器状态和低层运动之间的显式对齐。

作者的动机可以概括为：不要指望小型开源 VLA 被 prompt 一下就会推理；应该把推理本身变成训练目标，并且让推理包含机器人控制真正需要的 grounded variables。

Core Idea

核心思想是把 VLA 的建模目标从 p(action | image, instruction) 改成 p(reasoning tokens, action tokens | image, instruction)。这里的 reasoning 不是自由文本解释，而是一个固定结构的 embodied chain：任务重述、计划、当前子任务、子任务理由、下一步运动、运动理由、gripper 位置、可见物体及其 bounding boxes。动作 token 被放在这些中间 token 之后生成。

这个改变的本质是引入一种结构化 bottleneck / auxiliary prediction bias：模型在决定动作前必须先预测一些与任务相关且可视觉验证的中间变量。这样做有两个效果。第一，它迫使视觉 token 被用于对象、空间和机器人状态判断，而不只是服务于最终动作分类。第二，它把原本隐式的 stage inference 显式化，使模型更容易在未见组合任务中复用“先定位对象—判断阶段—决定运动”的计算路径。

和 prior 的本质区别在于：它不是外接 LLM planner，也不是把 CoT 当 prompt trick，而是把 embodied rationale 蒸馏进同一个 VLA policy 的 autoregressive action generation 过程。高层推理和低层动作不再是两个系统，而是同一模型的一段连续 token trajectory。

Method

方法上最重要的不是具体用了哪个检测器，而是它如何把不可标注的 reasoning supervision 变成可规模化训练信号。

第一，设计固定 ECoT schema。它解决的是 VLA 内部决策不可见、不可约束的问题。TASK/PLAN/SUBTASK 负责把语言目标投影到当前阶段；MOVE 把子任务进一步压到低层运动语义；OBJECTS/GRIPPER 把推理绑定到画面和机器人状态。这些步骤共同把 action prediction 前的上下文变成一种可读的 latent state。

第二，离线合成 reasoning traces。作者用 VLM 生成场景描述，用 open-vocabulary detector/segmenter 得到物体框和 gripper 位置，用机器人 proprioception 反推短期 motion primitive，再用 Gemini 根据轨迹和任务生成计划/子任务解释。这本质上是用强 foundation models 给 robot dataset 加 dense semantic-state labels，而不是收集新机器人数据。

第三，训练目标仍是标准 autoregressive next-token prediction，只是 token 序列从 instruction→action 扩展成 instruction→reasoning→action。机制层面的核心变化是：动作 imitation 被辅助任务包围，policy 学到的不只是动作分布，也学到一种可复用的任务-场景-运动分解格式。

第四，推理效率通过冻结高层 reasoning 或异步更新来缓解。这个部分主要是 deployment engineering，但对 ECoT 是否能实际控制机器人很关键，因为完整 reasoning 每步生成数百 token，天然比普通 VLA 慢很多。

Key Insight / Why It Works

我认为这篇最核心的 insight 是：对 VLA 来说，“reasoning”真正有用的部分不是语言解释，而是把视觉 grounding 和动作阶段判断显式化。Naive CoT 只做语义分解，提升有限；ECoT 加入 bbox、gripper、move primitive 后明显更强，说明核心不是 CoT 形式本身，而是 grounded auxiliary supervision。

有效性最可能来自三类机制叠加。

第一是 better inductive bias。固定 reasoning chain 把 manipulation task 分解成 object-centric、stage-centric、motion-centric 的中间预测。这对 Bridge 这类 tabletop manipulation 很合适，因为很多任务确实可以被“找物体—接近—抓取—移动到目标—释放”这套结构覆盖。

第二是 dense supervision / representation alignment。原始 imitation learning 每个 transition 只有动作标签；ECoT 给每个 transition 额外提供对象框、gripper 位置、运动 primitive、子任务描述。这些标签会显著改善视觉 token 与语言 token、动作 token 之间的对齐。严格说，这不只是“没有额外 robot data”，而是引入了大量额外 synthetic supervision。增益来源不应简单归因于 test-time reasoning。

第三是 test-time compute。ECoT 在每个动作前生成数百个 reasoning token，相当于给模型更多串行计算步骤。对于 autoregressive Transformer，这可能本身就提高了复杂决策能力。论文没有充分隔离“更多 token / 更多 compute”与“更好 reasoning content”的贡献。

哪些可能只是辅助？TASK 重述和高层 PLAN 未必是最关键的，尤其在短程 tabletop tasks 中，真正影响动作的可能是 SUBTASK/MOVE/OBJECTS/GRIPPER。bbox 和 gripper 预测可能比自然语言 rationale 更重要。所谓解释文本中的因果链很可能部分是事后合理化；但只要它作为训练时的 structured context 能稳定改善 action token，也仍然有工程价值。

需要直接指出：这里的“推理”未必是人类意义上的规划，更像是把外部 foundation model 生成的语义-空间结构蒸馏进 policy，使其在测试时按模板检索和补全一个合理的控制状态。planner 实际没有形成长期状态建模，也没有显式验证计划执行结果；它仍然是单帧/短历史 reactive control，只是 reactive 前多了一层结构化语言状态。

Relation To Prior Work

这篇最接近三条路线的交叉点：VLA policy、LLM/CoT planning for robotics、auxiliary-task/dense-label imitation learning。

相对 OpenVLA/RT-2，它的新增信息不是 backbone 或 action tokenizer，而是把 VLA 的输出空间扩展为 reasoning+action，并用合成 embodied labels 改变训练分布。它不是简单 scaling VLA，而是在动作 token 前插入一个结构化中间表示。

相对 SayCan、Inner Monologue、Code-as-Policies 等 LLM planner，它的区别是推理不在外部高层模块里，也不依赖手写技能库执行；推理和低层动作由同一个 VLA autoregressively 生成。因此计划与动作之间没有显式接口断层。但代价是推理能力受限于训练数据和固定 schema，不能像外部 planner 那样灵活调用工具或维护复杂长期目标。

相对普通 CoT，它的实质创新在 embodied grounding：把 bbox、gripper、motion primitive 这类控制相关变量纳入 reasoning chain。看似新的是“机器人 CoT”，实质上更像“object-centric / state-centric auxiliary prediction + language-form latent plan + VLA action generation”的重组。

因此这篇应放在 VLA 从纯 end-to-end imitation 向 structured intermediate reasoning 演化的谱系里，而不是单纯的 LLM prompting 工作。

Dataset / Evaluation

评估在真实 WidowX 机器人上完成，使用 Bridge v2 训练，并在多类泛化任务上测试：空间关系、OOD object、OOD instruction、视角变化，以及附录中的 clutter 场景。这个设置比纯仿真或离线 benchmark 更有说服力，因为它直接测试闭环控制成功率。

最支持核心 claim 的对比是同 backbone、同 Bridge 数据训练的 OpenVLA vs ECoT，以及 naive CoT vs ECoT。前者说明不是模型规模或机器人数据量差异；后者说明 embodied grounding 比纯语言 CoT 更关键。RT-2-X 对比有参考价值但不完全公平，因为其训练数据和模型规模都不同。

不过 evaluation 也有明显边界。任务仍主要是 tabletop pick-place/wipe 类短程 manipulation，结构高度符合 ECoT schema；许多物体和交互模式与 Bridge 风格接近。所谓 OOD 更像组合、物体、语言和视角层面的局部泛化，而不是开放世界泛化。跨 embodiment 主要展示 reasoning 生成的 qualitative transfer，没有充分证明控制迁移。benchmark 支持“ECoT improves this class of VLA manipulation generalization”，但不足以支持“机器人获得通用 embodied reasoning ability”。

Limitation

最大限制是 reasoning chain 的因果地位不清楚。模型生成了看似合理的解释，但 action 是否真正依赖这些解释，还是解释和动作共同由同一视觉 latent 驱动，文中没有充分证明。reasoning chain 可以帮助诊断，但不是可靠可解释性保证；模型完全可能说对了但做错，或说错了但靠动作 prior 做对。

第二，方法高度依赖外部 foundation model 标注。检测器、VLM caption、Gemini 生成的 plan 都是 hidden supervision。论文说不需要额外 robot data 是对的，但并不等于没有额外知识注入。增益可能部分来自外部模型的语义和空间知识蒸馏，而不是 VLA 自发学到推理。

第三，固定 schema 是强先验也是上限。所有任务都按同一套 TASK→PLAN→SUBTASK→MOVE→OBJECTS/GRIPPER 走，适合短程 pick-place，但对需要长期记忆、非刚体交互、接触丰富操作、多阶段条件分支的任务可能很笨重。模型没有学会选择何时推理、推理什么、如何验证推理。

第四，推理成本高。冻结/异步/TensorRT 是可行工程解，但本质上 ECoT 用更多 test-time compute 换泛化。若未来普通 VLA 通过 action chunking、更大模型、更强视觉 encoder 或更大数据达到相同效果，ECoT 的优势需要重新评估。

第五，泛化 claim 需要谨慎。核心能力可能主要来自数据覆盖和 synthetic labels 对 Bridge distribution 的 regularization。对于更开放的物体类别、更复杂遮挡、更动态场景，bbox/token rationale 可能成为脆弱接口。

Takeaway

  • 1. 对机器人 VLA，有用的 CoT 不是“解释任务”，而是显式预测控制相关的 grounded intermediate variables；bbox、gripper、motion primitive 这类变量可能比自然语言 plan 更关键。
  • 2. 这篇真正推动的是一种新的训练范式：用外部 foundation models 给机器人轨迹补 dense embodied supervision，再把这些 traces 蒸馏进 action-generating VLA。
  • 它介于 imitation learning、auxiliary representation learning 和 test-time reasoning 之间。
  • 3. 未来值得做的不是继续手工扩展 CoT 模板，而是让 policy 学会自适应选择中间变量、验证自己的 grounding、在错误 reasoning 时恢复，并把 token-level rationale 压缩成更高效的 latent working memory。

一句话总结

ECoT 是 VLA 从纯反射式 action cloning 走向结构化 embodied intermediate prediction 的一步，真正贡献在于把外部模型合成的视觉-状态-运动推理痕迹蒸馏进同一个机器人控制模型，而不是证明机器人已经具备通用链式推理。