精读笔记

Problem Setting

论文标题：Guava: An Effective and Universal Harness for Embodied Manipulation（arXiv preprint / 2026）。

这篇论文真正处理的是 embodied manipulation 中的 interface design 问题：给定一个已经具备视觉-语言理解能力的模型，怎样设计它和机器人环境之间的交互协议，使它能稳定调用外部感知/规划/控制工具完成任务，并且能在执行失败后恢复。

困难点不在于单个 grasp 或单个 place，而在于长时程操作中的状态漂移、工具失败、视觉歧义、部分可观测和执行反馈滞后。VLM 一次性看图后生成完整程序，本质上假设初始状态和执行过程都足够确定；这和真实 manipulation 的 stochastic closed-loop 性质冲突。VLA 路线则把连续控制和高层语义都内化到模型里，数据量、硬件依赖和可解释 repair 都是瓶颈。

关键矛盾是：foundation model 擅长语义任务分解和语言条件推理，但 manipulation 需要强几何、接触和实时纠错；如果不给它合适的抽象，它会被迫做不擅长的连续空间推理；如果抽象太高，又会失去可控性和覆盖范围。Guava 试图找到中间层：语义上可推理、执行上由工具保障、交互上闭环可恢复。

Motivation

已有路线的问题可以概括为两类错配。VLA policy 的错配在于把所有能力都压进参数：它可能 scale，但需要大量 robot trajectory，并且对 embodiment、task distribution 和 action representation 高度绑定。Harness / code agent 的错配在于把机器人任务当作代码生成任务：程序可组合、可解释，但一旦执行中对象移动、抓取失败、pose 不准，就缺少持续观察和修复机制。

作者的核心观察是：机器人 manipulation 更像一个带工具的交互式 agent 问题，而不是一次性 policy synthesis。真正缺的不是更大的 VLM，也不是更多 primitive，而是一个能把 VLM 的语义能力、工具的低层可靠性和环境反馈组织起来的 harness。换句话说，缺的是可复用的信息流结构：模型何时看、看什么、怎么把反馈转成下一步行动、行动空间应该抽象到什么粒度。

这也是论文想做“小模型蒸馏”的原因：如果 harness 是主要 bottleneck，那么能力不应只存在于 GPT-5.4 这类 frontier model；一个 4B 模型只要学会该 harness 下的 observation-action protocol，也可能表现得像 embodied agent。这个假设比“训练一个小 VLA”更强，因为它暗含 harness 本身提供了大量 inductive bias。

Core Idea

Guava 的核心思想是把 manipulation 从“模型直接预测动作”改写成“模型在语义工具空间里做闭环状态机控制”。这不是简单加工具，而是改变了建模边界：模型不再负责连续控制的全部细节，而负责在每一步根据多模态状态选择下一个语义动作，并根据工具反馈更新任务进度判断。

这个框架引入的关键 inductive bias 是分层可组合性。底层工具负责把物理世界压缩成相对稳定的 affordance/action primitive，例如 grasp(object)、align(object, direction, clearance)、release、home_pose；高层模型只需要在对象、关系、任务目标和失败反馈之间做离散/半离散推理。这样减少了 VLM 直接估计精确 pose、contact direction、trajectory feasibility 的负担。

和 prior 的本质区别在于：Guava 不是一次性 code-as-policy，也不是端到端 VLA，而是把 ReAct-style test-time loop 作为 manipulation 的主结构。它更像 robotics 版的 agent harness engineering：通过限制 action language、显式暴露 observation/feedback、允许多轮工具调用，用结构化交互弥补模型本身的物理推理不足。这使它理论上比 VLA 更 data-efficient，也比 one-shot code agent 更 robust。

Method

方法层面有三项机制是必要的。

第一，iterative perception-reasoning-action loop。它解决的是长时程执行中的 distribution shift：每一步执行后，环境状态都可能偏离计划。闭环循环让模型重新读取图像、机器人状态和工具返回值，然后决定 retry、换工具、回 home_pose 或推进下一子目标。核心变化是把 failure recovery 从训练时隐式学到的动作模式，变成 test-time 可触发的决策过程。

第二，semantic action abstraction。它解决的是 VLM 低层几何推理不稳定的问题。论文对比低层 move(x,y,z,roll,pitch,yaw,width) 接口，发现语义工具明显更好，这个结果符合直觉：当前 VLM 对坐标轴、方向、接触点和姿态的推理很脆弱，让它直接规划抓取姿态等于把错误源前置。语义工具把复杂连续控制折叠成对象中心的操作符，使模型更像在操作一个 symbolic skill graph。

第三，多模态 observation。它解决的是纯图像或纯文本状态都不充分的问题：图像提供空间布局和对象可见性，文本状态提供 gripper pose、执行结果、对象位置等压缩信息。这里真正重要的不是“多模态”这个标签，而是给模型一个可更新的 task-progress representation，使其能判断哪些子任务已完成、失败发生在哪里。

训练部分本质是 harness-conditioned distillation。GPT-5.4 在同一工具协议下生成 trajectories，包括成功轨迹和人为扰动后的 recovery trajectory；4B Qwen 模型学习的是这个协议下的 reasoning trace + tool call 分布。后续 GRPO 只针对困难长时程任务，用 sparse success reward 加强序列规划和恢复。这里不应理解为学到了完整机器人技能，而是学到了在 Guava interface 上调度已有工具的 policy。

Key Insight / Why It Works

这篇最有价值的 insight 是：embodied capability 很大一部分可以来自 interface，而不一定来自模型参数里的低层控制能力。Guava 成功的主要原因不是某个工具新，而是它把问题变成了 foundation model 更擅长的形式：对象级任务分解、状态检查、失败归因和工具选择。

我认为最核心贡献是 action abstraction + closed-loop test-time compute 的组合。单独有工具不够，因为一次性程序无法处理执行偏差；单独有 ReAct 也不够，因为如果 action space 是低层 pose，VLM 会在几何上崩掉。两者合起来相当于给 VLM 一个可交互的、低熵的 manipulation language。这个 language 的设计降低了搜索空间，也减少了错误传播。

多模态 observation 是必要辅助，但可能不是最本质创新。它增强 grounding，却没有解决 VLM 空间推理的根本弱点。附录也承认 pushing、arrangement 等任务仍明显受限，模型常用坐标启发式替代真实视觉空间理解。这说明 Guava 的“reasoning”很可能相当一部分是 protocol following + heuristic state update，而非可靠的 3D spatial reasoning。

4B 模型的强表现更应归因于三件事：第一，teacher-generated harness trajectories 提供了高密度监督；第二，recovery trajectories 构成了 off-policy curriculum，让模型见过失败状态；第三，RL 聚焦在少数长时程瓶颈任务上，直接优化评测最难项。这里有明显 data coverage / curriculum / targeted optimization 成分。说“少于 2K trajectories 就获得强 embodied capability”可以成立，但前提是 trajectories 来自强 teacher、强工具层、结构化任务分布和固定 harness。

所谓 generalization 需要谨慎看。OOD object / prompt 多半验证的是语义替换和组合指令泛化，不等价于开放世界 manipulation 泛化。真实世界零样本迁移之所以可行，很大程度上因为低层 perception/control 工具和 VLM 视觉先验吸收了 sim2real gap，高层 agent 只需做离散工具调度。这是优势，也是问题转移：物理泛化不完全由 agent policy 产生。

Relation To Prior Work

Guava 位于 Code-as-Policies / ProgPrompt / RoboCodeX / Maestro / Cap-X 这一条 harness-based robotics 谱系，而不是 OpenVLA、π0/π0.5 那条端到端 VLA 谱系。它和 VLA 的本质差异是把 action generation 外包给工具层，使模型输出 tool call 而非连续动作；这牺牲了低层灵活性，换来数据效率、可解释性和恢复可控性。

和 Code-as-Policies、ProgPrompt、Cap-X 更接近。不同点主要在于 Guava 把 one-shot program generation 改成 ReAct-style closed-loop execution，并系统比较 workflow/action/observation 三个设计轴。这个差异是实质性的，因为机器人执行失败不是边缘情况，而是默认情况；能否把反馈纳入下一步决策直接决定长时程成功率。

和 Maestro / Cap-X 相比，Guava 的新信息不在“VLM 可调用机器人模块”，这个已有；新信息在于：什么 harness design choices 对 manipulation 真的关键，以及这个 harness 是否可以作为小模型蒸馏的数据接口。后者是比较重要的推进：它把 harness 从 inference-time scaffold 扩展成 data engine / training protocol。

看似新的部分也有不少是已有思想重组：ReAct、semantic skills、tool use、SFT+RL、teacher distillation 都不是新概念。论文的价值在于把这些拼到 embodied manipulation 的正确抽象层，并通过消融证明这个组合比替代接口更稳。

Dataset / Evaluation

数据上，训练集规模很小但结构化程度高：约 1.9K 条轨迹、237 个任务 prompt，包含成功轨迹和 38% recovery 轨迹，全部来自 Robosuite 中 GPT-5.4 under Guava 的交互。这个数据不是普通 robot demo，而是带 reasoning trace、tool call、observation feedback 的 harness trajectory；因此信息密度高，且和测试时模型输入输出格式完全对齐。

评测覆盖了 ID、OOD object、OOD prompt、OOD long-horizon，并包含真机 Franka + RealSense。相对许多只做仿真的 agent harness work，这是真实加分项。实验也基本支持核心 claim：闭环、语义工具、多模态观察对 frontier model 有效；小模型在该 harness 下可被蒸馏到接近 frontier baseline；真实环境中有一定零样本迁移。

但 evaluation 仍偏窄。任务主要是桌面刚体操作、pick/place/push/arrange/set-table 这类可由 primitives 组合的任务；dexterous、deformable、contact-rich、multi-view occlusion-heavy 场景没有覆盖。OOD 的强度也有限，更多是对象名、prompt 和组合长度变化，不是 action primitive 之外的新物理技能。

另一个问题是增益归因。Guava-Agent-4B 超过 GPT-5.4 under same harness 在部分任务上很有意思，但也可能因为训练/强化学习针对同类 benchmark 分布进行了适配，而 GPT-5.4 是 zero-shot agent。这个结果说明 distilled small model 可以更适应该 harness 和任务分布，但不能简单解释为小模型 embodied reasoning 超过 frontier model。

Limitation

核心前提一：工具层必须相对可靠。grasp(object) 背后依赖 segmentation、point cloud、grasp pose estimation 和 controller；align 依赖对象几何估计；move/rotate 依赖运动执行。Guava 只能检测工具返回的失败并 retry，不能真正修正 SAM3 分错、grasp proposal 错或接触模型错。也就是说，系统把不可解的低层问题封装起来了，但没有消除。

核心前提二：任务必须能被现有 semantic primitives 表达。当前工具空间适合刚体桌面操作，不适合灵巧手、双臂、柔性物体、复杂装配、强接触操作。随着任务复杂度提高，primitive set 需要膨胀；一旦工具空间过大，模型的 tool selection 问题又会变复杂，harness 的低熵优势可能下降。

核心前提三：观察足够支持状态判断。当前固定单视角会导致遮挡和空间误判。论文承认 VLM 在 pushing / arrangement 上常走坐标启发式 shortcut，这说明其空间理解不是稳定的 3D grounding。多视角或主动感知可能是必要的，但那会把 harness 从简单 ReAct loop 推向更复杂的 perception planning。

泛化的真实性仍需保留判断。所谓 recovery beyond training 可能是真实的 feedback-conditioned behavior，也可能是 recovery trajectory 覆盖了足够多错误模板后形成的近邻组合。文中未充分说明 failure type 的系统性划分和 held-out failure distribution，因此很难断言模型学到了通用恢复机制。

此外，RL 增益来源不清。GRPO 只在两个困难长时程任务上做，并且这些任务后来显著提升。这可能证明 targeted RL 有效，也可能说明 benchmark bottleneck 被专门优化。若扩大到更多未见长时程任务，提升是否保持，文中未充分说明。

Takeaway

• 1. 对 embodied manipulation，interface design 可能和 model scaling 同等重要。
• 把动作空间设计到 VLM 能推理、工具能执行的抽象层，是比盲目端到端训练更数据高效的路径。
• 2. 闭环不是锦上添花，而是机器人 agent 的基本结构。
• 只要执行有 stochasticity，一次性代码生成就天然脆弱；ReAct-style observation-action loop 提供了最直接的 failure recovery 通道。

一句话总结

Guava 是一篇把机器人操作从端到端动作预测转向闭环语义工具调度的 harness-engineering 工作，其主要贡献在于证明合适的交互接口可以把 frontier VLM 能力蒸馏到小模型，但其泛化上限仍强依赖工具层、任务分布和语义 primitive 设计。