精读笔记

Problem Setting

[论文标题] Vesta: A Generalist Embodied Reasoning Model（arXiv preprint / 2026）。这篇论文实际处理的是 embodied AI 里高层 planner 的统一化问题：机器人在开放环境中并不是先做一个独立定位任务、再做一个独立导航任务、再做一个独立 QA 任务，而是在同一个闭环执行过程中不断把当前视觉、历史状态、任务目标和可执行子任务对齐。以前方法卡在 specialist 化：每个 benchmark 可以训练一个强模型，但部署时需要组合多个模型，接口复杂、延迟高、错误会级联。真正困难是让同一个 VLM 表征同时承载空间 grounding、历史进度、导航决策和任务分解，同时不发生灾难性遗忘或能力互斥。

Motivation

作者的动机不是“再做一个机器人大模型”，而是指出 planner VLM 已经成为层级机器人系统里的 System-2 认知瓶颈。现有路线不够，是因为它们把导航、空间定位、具身问答、记忆规划分别优化，导致研究指标和部署需求错位。作者的核心观察是：这些能力共享一个底层结构——都需要把视觉观测锚定到可行动空间，并在历史上下文中判断下一步。因此缺口在于一个统一训练分布和一个简单可部署的记忆接口，而不是更复杂的控制器或又一个 domain expert。

Core Idea

Vesta 的核心思想是把 embodied reasoning 的多个子领域重新建模成同一个条件生成问题：给定当前图像、任务目标和压缩历史，输出语言形式的空间定位、导航动作或下一子任务。它改变的不是基础架构，而是任务组织方式：把本来分散在不同模型里的能力对齐到同一 VLM backbone、同一 decoder、同一多模态上下文协议中。直觉上这可能有效，因为 grounding、navigation、affordance、progress estimation 都依赖相近的空间-语义表征；如果数据 mixture 足够覆盖，统一训练反而可能产生正迁移。相比 prior 的本质区别在于，它不是把 specialist 的输出做 pipeline 组合，而是让 planner 内部共享表征和错误模式，从系统层面减少接口失配。

Method

方法的关键机制有三点。第一是 spatially biased SFT mixture：用大量 spatial intelligence、navigation、grounding 数据塑造模型的空间先验，再用 embodied reasoning 和 real robot 数据把这种先验对齐到任务执行。它解决的是普通 VLM 缺乏行动相关空间表征的问题。第二是统一文本化输出接口：点、框、turn、pixel goal、stop、subtask 都通过语言头生成，核心变化是把异构机器人监督转成同一种生成式协议，降低多任务训练的接口摩擦。第三是 multimodal memory harness：历史图像提供视觉证据，文本日志提供任务进度压缩，二者共同近似非 Markov 状态。这个 memory 不是复杂算法，而是一个强 inductive bias：让 planner 在每次决策时显式看到“看过什么、做过什么”。

Key Insight / Why It Works

最可能真正有效的是数据覆盖 + 表征对齐，而不是某个新模块。Vesta 的贡献更像是证明：在 8B VLM 上，只要 SFT mixture 足够偏向空间与具身数据，多个 embodied planner 能力不会天然冲突，甚至可能正迁移。memory harness 的有效性也合理：图像-only 缺少抽象进度，text-only 容易变成 shortcut，image-text 混合刚好把状态证据和任务摘要分离。transition oversampling 则是典型 curriculum / class imbalance 修正，主要解决动作切换稀缺，不应被理解为推理突破。CoT 四阶段可能帮助格式稳定和中间监督，但文中未充分说明它是否提升真实 causal reasoning。总体判断：Vesta 的能力很可能主要来自 curated data、统一任务格式和多模态记忆复用；所谓 generalist reasoning 目前更像强覆盖下的 retrieval + pattern completion，而不是显式世界模型或长期状态建模。

Relation To Prior Work

它最接近 RoboBrain、RynnBrain、导航 VLA、memory-augmented VLA 和 planner-actor hierarchical robotics 这条谱系。看似新的地方——高层 VLM planner、语言子任务、历史记忆、空间 grounding SFT——都不是单独的新思想；真正新增的信息是把这些组件压进一个同尺寸 generalist planner，并展示统一训练没有明显牺牲 specialist 性能。相较导航 specialist，Vesta 的差异是保留跨任务通用能力；相较 embodied QA 模型，差异是能进入闭环 planner-actor 接口；相较 memory VLA，差异是 memory 设计刻意简单，重点放在数据和任务统一。实质创新更偏系统建模和训练配方，而不是架构创新。

Dataset / Evaluation

评估覆盖面较广，包含静态 embodied cognition/localization benchmark、闭环 R2R-CE 导航、offline action planning 以及少量真机任务，基本能支持“统一模型在多类指标上不输 specialist”这个 claim。较强证据来自统一训练对比 nav-only 和 embodied-only 的 ablation，说明多任务混合至少在这些分布上没有负迁移。真机部分有价值，因为它检验了 planner 与 actor 的真实接口，但任务只有三类、单平台、样本量有限，且没有 specialist planner 真机对照。offline planning 用 MCQ 和 temporal IoU 降低了评估成本，但也把开放式规划转成候选选择，可能高估模型在真实自由生成决策中的能力。benchmark leakage 或隐式分布重叠无法完全排除，尤其是在大规模 curated SFT 下，增益来源不清。

Limitation

Vesta 成立依赖几个强前提：低层 actor 必须能稳定执行自然语言子任务；高层任务可以被离散化为相对粗粒度 subtask；历史状态可以被少量关键帧和文本日志近似；训练数据覆盖了足够多的空间-动作组合。一旦进入 humanoid locomotion + manipulation、dexterous hand、长时间 household memory 或开放词表工具使用，这些前提都会被压垮。scalability 上限也不清楚：更大模型、更长上下文、更多数据是否继续带来统一正迁移，文中没有回答。planner 实际没有形成 learned belief state，只是在 prompt 里重放历史；长期推理可能是假象。方法还把一部分难题转移给 actor 和 subtask abstraction：如果 actor 失败或动作粒度不匹配，planner 再强也无法闭环修正。

Takeaway

• 最值得记住的不是某个指标，而是 generalist embodied planner 的训练方式：空间 grounding 应该作为共享 scaffold，而不是某个附属任务。
• 第二，简单的 image-text memory 已经是强 baseline，未来复杂 memory 方法必须证明自己超过这个低成本协议。
• 第三，多任务统一不必然导致负迁移；在空间相关任务之间，正迁移可能来自共享的视角、物体、位置和进度表征。
• 第四，下一步真正值得做的是 learned memory、跨 embodiment 的 subtask abstraction、自主闭环失败恢复，以及把 offline planning 指标和真实 deployment 成功率建立更严格的因果关系。

一句话总结

Vesta 是一篇把 embodied planner 从 specialist pipeline 推向 data-centric generalist SFT 的论文，真正贡献在于证明空间偏置数据混合加简单多模态记忆可以统一多类高层机器人认知能力，但其“推理”增益很可能主要来自数据覆盖、格式对齐和可复用历史上下文。