精读笔记

Problem Setting

这篇论文实际在解决 VLA 中 planning 的“归因问题”，而不是单纯追求一个新 SOTA。当前 VLA 里，ActionOnly、Integrated、Hierarchical、CoT、goal image、trajectory/flow、latent action 等方法同时改变了架构、监督、数据和推理路径，导致无法判断性能提升来自哪里。真正困难点是 manipulation 本身具有天然层级结构：高层需要决定子目标/状态转移，低层需要处理几何、接触和控制误差；但端到端 VLA 往往把这两类问题压进同一个隐空间，训练信号混杂。

以前方法卡在两个地方：一是把 language reasoning 当作 planning 的默认形态，但语言未必承载执行所需的空间和接触信息；二是把 hierarchical / integrated 的差异和 backbone/data 差异混在一起，导致结论不可复用。本文要回答的关键矛盾是：planning 应该作为一个可执行的中间瓶颈存在，还是仅作为辅助监督改善表征？如果存在，它应该以什么形式连接到 policy？

Motivation

已有路线不够的原因不是它们没有 planning，而是 planning 的定义过宽。语言 CoT、视觉 affordance、goal image foresight、latent action、future video 都被归到 planning，但它们对 policy 暴露的信息不同：语言偏语义，视觉表示偏空间约束，未来图像偏状态目标。没有统一实验框架时，所谓“planning improves VLA”基本无法解释。

作者的核心观察是：VLA 现在缺的是拆解工具，而不是又一个耦合所有技巧的大模型。尤其在长程 manipulation 中，planning 的价值可能并不来自抽象语言推理，而来自把任务分解成更容易被低层控制跟随的视觉/状态目标。关键缺口是缺少在相同 backbone、相近参数、相同数据条件下，对 representation 和 paradigm 的系统比较。

Core Idea

论文的核心思想是把 VLA 拆成“感知-任务表示-动作生成”的可组合系统，并把 task planning 视为一个显式可控的信息瓶颈。ActionOnly 不显式建模这个瓶颈；Integrated 在共享 backbone 上同时预测 plan 和 action；Hierarchical 则让 planner 和 policy 分离，由 planner 产生中间表示，再由 policy 执行。这个组织方式的本质差异在于信息流和梯度流：Integrated 共享表示但可能冲突，Hierarchical 牺牲速度换取模块解耦和更清晰的中间约束。

它引入的 inductive bias 是：机器人任务不应完全依赖 VLM 隐状态自己发现层级结构，而应通过视觉 grounded 中间表示显式暴露子目标、空间关系或未来状态。这比语言 CoT 更贴近 manipulation 的因果变量，因为执行失败通常发生在空间定位、接触时序和目标状态偏差，而不是自然语言任务理解。与 prior 的本质区别不是提出了某个新 planning token，而是把多个已有 planning 形式放到一个受控框架中比较，从而得到关于 representation 和 paradigm 的经验结论。

Method

1. 统一 VLA-OS 架构：它解决的是 prior 比较不可控的问题。通过同一类 VLM backbone、相近规模 heads、相同输入输出接口，作者试图让变量集中在 planning representation 和 paradigm 上。核心变化是把 VLA 从单一模型设计变成可插拔实验平台。

2. 三种 planning representation：language reasoning、visual reasoning、image foresight。它们解决的是“planning 到底应表达什么”的问题。语言表示提供任务语义和步骤结构，但空间信息贫弱；visual reasoning 引入 bounding boxes、end-effector flow、affordance 等更接近控制的线索；image foresight 直接以未来观测/目标图像表达状态转移。机制上，这是在比较不同中间瓶颈的信息密度与可执行性。

3. 三种 VLA paradigm：ActionOnly、Integrated、Hierarchical。ActionOnly 检验无显式规划的端到端极限；Integrated 检验 planning supervision 是否能作为共享表征的辅助训练信号；Hierarchical 检验显式 planner-policy 分工是否优于 monolithic learning。真正必要性在于区分“planning loss 改善 backbone”与“planning output 在推理时作为条件真正被使用”。

4. 单独评估 task planning 与 policy learning：这是方法中很重要但容易被忽视的一点。它试图回答失败来源是 planner 不会分解任务，还是 policy 无法执行计划。作者发现 LIBERO 上 policy learning 更像瓶颈，这对解释 VLA 失败模式很关键。

Key Insight / Why It Works

最核心的 insight 是：对 manipulation 来说，planning representation 的价值不在于更像人类语言推理，而在于是否能把低层控制需要的空间/状态约束传递给 policy。语言 CoT 可能提高可解释性，但它是低带宽、低几何精度的中间变量；visual reasoning 和 image foresight 则更接近 affordance、目标状态和运动先验，因此更容易被 policy 利用。这解释了为什么 visually grounded representations 在成功率、low-level following 和 continual learning 上更好。

Hierarchical-VLA 有效的主要原因很可能不是“更会推理”，而是更好的优化分解和梯度隔离。Integrated 模型把 planning loss 和 action loss 都压到同一个 VLM 表征上，二者目标并不一致：planning 需要抽象、稳定、语义/空间对齐的表示，action learning 需要对局部观测和 proprioception 极敏感的连续控制表示。共享 backbone 容易产生 gradient conflict。Hierarchical 把 planner 和 policy 分开，相当于把 representation alignment 与 control fitting 解耦，牺牲推理速度换来更清晰的职责边界。

论文中最可能是真贡献的是受控拆解与经验结论：视觉 grounded planning > language planning；Hierarchical 通常优于或不弱于 Integrated；当前 benchmark 上低层 policy 可能比高层 planning 更难。哪些可能只是辅助？具体 planning head 设计、KV extraction、autoregressive image head 等更像工程选择，不一定是概念贡献。哪些可能来自 scaling/data？规划数据的额外标注本身提供了 hidden supervision；image foresight/visual reasoning 更 dense，天然比语言标签提供更多可学习信号。因此部分增益可能来自更强监督和更高信息密度，而不是模型真的学到抽象 world model。

我会比较强地判断：这篇论文里的“planning”大多仍是 supervised intermediate prediction，不是 model-based RL 意义上的可滚动、可验证、可反事实推演的 world model。它更像是 representation alignment + hierarchical conditioning，而不是显式长期状态建模。所谓推理能力可能在不少任务中更接近 dataset-conditioned retrieval / pattern completion，尤其是在 LIBERO 这类结构化 benchmark 上。尽管如此，这个结论仍然有价值：在当前数据和模型规模下，给 policy 一个视觉 grounded 的中间目标，比让 VLM 说一段语言推理更实用。

Relation To Prior Work

这篇处在 RT-1/RT-2/OpenVLA/pi0/RDT 这条 action-generation VLA 谱系与 RT-H/Hi Robot/Diffusion-VLA/CoT-VLA/EmbodiedCoT 这条 planning-augmented VLA 谱系的交叉点。和 ActionOnly VLA 相比，它不把所有任务结构都留给隐空间；和 language-CoT VLA 相比，它怀疑语言不是 manipulation planning 的最佳载体；和 latent-action / video-prediction 类方法相比，它把未来状态预测纳入统一比较，而不是单独宣称一种表示优越。

很多看似新的部分其实是已有思想重组：hierarchical policy、goal image conditioning、affordance/flow 作为中间表示、辅助 planning loss 都不是新概念。实质创新在于把这些路线放进统一 VLA-OS 框架做受控消融，并明确比较 representation 与 paradigm 的交互。它给领域新增的信息不是某个模块，而是一个较清楚的经验排序：视觉/图像类中间表示更适合 manipulation；planner-policy 分离通常比共享单体更稳，但更慢。

Dataset / Evaluation

评估覆盖面相对广：不仅有 LIBERO 这类多任务 imitation benchmark，也涉及视觉泛化、长程复杂任务、真实世界变形体、灵巧手和双臂任务。这对于支撑“不是只在单一 benchmark 上成立”的 claim 是有帮助的。尤其真实世界和不同 end-effector 的覆盖，使结论比单纯仿真桌面 pick-and-place 更有说服力。

但 evaluation 仍有明显边界。第一，很多核心比较似乎主要依赖离线标注的 planning supervision，benchmark 是否真正测试开放式长期规划仍有限。第二，泛化更多是 benchmark-defined generalization，不等同于真实部署中的 distribution shift、物体新颖性、失败恢复和闭环重规划。第三，文中未充分说明 planner 错误如何在长程执行中累积，以及 policy 是否真的使用 planner，还是只在训练分布内学会忽略部分 plan。第四，实验细节大量放在网站，正文中的归因透明度不足；一些结论如 scaling 上限、pretraining gain 的外推需要谨慎。

Limitation

这篇论文成立依赖几个前提：planning 标签质量足够高；视觉 grounded 表示能覆盖任务关键变量；policy 能 faithful follow planner 输出；benchmark 的任务结构确实可以被中间表示分解。如果这些前提不成立，Hierarchical 可能只是把错误从 policy 转移到 planner，而且 planner 的错误会成为新的瓶颈。

scalability 结论不能过度外推。作者认为约 5000 demos 从头训练时 backbone 不宜超过 0.5B、总模型小于 1B，这更像当前数据规模和训练 recipe 下的经验结论，不是 VLA scaling law。大模型没有优势可能只是数据不足、优化不充分、action head 不匹配或 robotics supervision 质量不够，而不是“大模型不适合 VLA”。

所谓 reasoning / planning 也可能是假象。language reasoning 很可能只是对任务步骤的离线重述；visual reasoning 和 image foresight 更像对数据中轨迹和目标状态的监督压缩。它们未必形成可组合、可反事实的长期 world model。核心能力可能主要来自数据覆盖与更 dense 的中间监督，而非真正的 causal planning。

另外，Hierarchical 的优势归因不完全干净。它不仅改变 paradigm，也改变了优化路径、梯度隔离、测试时计算量，并引入额外 frozen visual/language features 来补偿 action head。这些都可能贡献性能。增益来源不清，不能简单理解为“两阶段规划天然优于一体化 VLA”。

Takeaway

• 1. 对机器人 manipulation，planning 表示应优先考虑视觉/空间 grounded，而不是默认上语言 CoT。
• 语言可以描述意图，但很难承载执行所需的几何细节。
• 2. Hierarchical VLA 的优势更可能来自优化分解和梯度冲突缓解，而不是神秘的高级推理能力。
• 未来值得做的是可训练、低延迟、闭环的 planner-policy 接口，而不是更长的文本 reasoning。

一句话总结

VLA-OS 是一篇把 planning-augmented VLA 从经验堆模块推进到受控归因分析的论文，核心贡献是证明当前阶段视觉 grounded 中间表示和 planner-policy 解耦比语言 CoT 式一体化推理更适合机器人操作。