精读笔记
Problem Setting
《GROW2: Grounding Which and Where for Robot Tool Use》（arXiv preprint / 2026）解决的是开放世界工具使用中的双重 grounding：机器人必须先判断场景中哪个开放类别物体可以作为工具，再定位工具和目标物体上真正参与交互的3D区域。真正困难点在于语义功能选择和几何可执行区域不是同一类问题：前者需要常识与类别外组合，后者需要精确、可用于接触规划的空间区域。以前方法卡在两个极端：要么假设工具已知，只做 affordance localization；要么用几何/视觉相似性找替代工具，容易把外形相似误当成功能等价；要么训练端到端 affordance predictor，数据需求大且难以覆盖开放任务-物体组合。这个任务的关键矛盾是：开放世界泛化需要语义抽象，但机器人执行需要几何精度。
Motivation
已有路线不够的原因是缺少一个能同时连接功能语义和接触几何的中间表示。直接从语言任务预测 affordance 区域，把“选择什么工具”“选择什么功能部位”“定位哪里接触”混在一起学习，既不 scalable，也很难解释错误。纯 VLM 路线可以做常识选择，但让它直接输出空间区域或 keypoint 会暴露其弱空间定位能力。作者的核心观察是 object parts 是一个天然接口：blade、rim、tip、handle 这类部件名既能被 VLM 用于功能推理，又能被视觉分割/重建模型落到图像和3D表面上。关键缺口就是把开放工具使用从 dense affordance learning 改造成 part grounding 问题。
Core Idea
GROW2 的真正核心是把 open-world affordance grounding 分解成语义层和几何层，并用 object part 作为两者之间的 latent variable。语义层不直接预测像素或点云区域，而是选择工具对象以及抓取部件、工具作用部件、目标作用部件；几何层再把这些部件名 grounding 到完整3D区域。这改变了建模方式：从端到端 task-to-region mapping 变成 task-to-part-to-region mapping。
这个 inductive bias 很强：它假设大多数工具使用的功能差异可以被部件级描述捕获，而大多数执行所需空间区域可以从部件分割恢复。相比 prior，它不是试图学习一个覆盖所有物体和任务的 affordance manifold，而是把泛化压力转移给预训练 VLM、2D segmentation model 和3D reconstruction model。其可扩展性来自复用 foundation models 的语义和视觉先验，而不是来自本文训练出的新表示。
Method
关键机制可以压缩为三步。第一，候选对象和部件先被显式枚举，再让 VLM 在任务、图像和候选 object-part dictionary 条件下选择工具、目标和功能部件；这一步的作用是把开放语义推理限制在可检查的离散空间里，减少 VLM 自由生成空间坐标造成的幻觉。第二，系统对选中的工具和目标从单视角 RGB-D 重建并配准 mesh；它解决的是 affordance 区域可能被遮挡或自遮挡的问题，本质上是在用 shape completion 替代多相机观测。第三，在重建 mesh 上做多视角渲染、2D part segmentation、反投影融合和聚类；它把开放3D grounding 转换为多个更可靠的2D grounding 问题。
这些机制的必要性很清楚：VLM 负责 which/part semantics，SAM3/SAM3D 负责 where/geometry，planner 只消费最终区域。论文的低层技能约束设计主要用于验证 affordance 区域是否足以驱动工具使用，不应被视为核心方法贡献。
Key Insight / Why It Works
最重要的 insight 是：不要让同一个模型同时解决开放语义选择和精细空间 grounding。VLM 擅长的是“盘子边缘可以临时代替刀刃”这种常识组合，而不是在图像上稳定点选接触区域；2D/3D视觉 foundation model 擅长的是把给定概念落到可见结构上，而不是判断哪个物体功能上合适。GROW2 的有效性来自把每类模型放在其能力边界内使用。
最可能的核心贡献是 part abstraction，而不是多视角渲染或 DBSCAN 这类工程细节。part 作为 bottleneck 带来三个效果：降低输出空间复杂度、提高可解释性、把开放类别泛化变成已有模型较熟悉的 object/part recognition。多视角重建融合是重要辅助，尤其解决遮挡和单视角不可见区域，但它更像 test-time compute 换精度。VLM few-shot prompting、候选部件枚举和 fallback box prompting 也偏工程稳健性。
需要直说的是，能力来源并不纯粹。GROW2 很大程度上是在 orchestration of scaled foundation models：GPT-5.2 的常识、SAM3 的概念分割、SAM3D 的重建能力共同贡献了结果。所谓 zero-shot generalization 可能部分来自这些模型预训练数据中的隐式覆盖，而不是本文方法本身学习到了新的工具使用规律。论文没有充分拆分 scaling / data coverage 与 part inductive bias 的贡献。
Relation To Prior Work
它最接近三条路线的交叉：language-conditioned affordance prediction、VLM-based robotic prompting、part/keypoint-based manipulation。和 AGD20K/PIAD/LASO/GEAL/UAD 等 affordance prediction 路线相比，GROW2 的本质差异是不训练一个 task-to-affordance predictor，而是把 affordance 显式离散化为部件选择再 grounding。和 MOKA 这类 VLM visual prompting 方法相比，差异在于它不要求 VLM 直接做细粒度空间判断，而是把空间定位交给 segmentation/reconstruction pipeline。和传统工具选择或 one-shot correspondence 方法相比，它不依赖视觉相似性或固定工具模板，而依赖语义功能判断。
看似新的部分中，多视角渲染再融合、SAM-based segmentation、ICP 配准、motion planning 都是已有思想重组；实质新增的信息在于把“which tool”和“where affordance”统一到 part-level intermediate representation，并系统性验证这个分解在工具使用场景中比直接预测或视觉匹配更稳。它属于 foundation-model-mediated robotics 的技术谱系：不是端到端学习策略，而是用预训练模型和结构化中间变量搭建一个可执行 pipeline。
Dataset / Evaluation
评估覆盖面相对完整：标准2D/3D affordance benchmark 验证 grounding 能力，新 GROW2 Bench 引入多物体工具选择，仿真和真机实验验证 affordance 是否能驱动执行。相比只在静态 benchmark 上报 IoU，这篇至少试图闭环到机器人动作成功率，这是有价值的。
但评估也有明显边界。标准 affordance benchmark 往往不真正测试开放工具选择；GROW2 Bench 虽然补了这个缺口，但图像由生成模型构造，工具候选和任务类型有限，且标注是专家框再转 mask，可能偏向可被 VLM/segmentation model 理解的显著部件。仿真任务只有五类低层技能，且每类技能已经手写了区域约束，验证的是 affordance 区域对预设技能是否够用，而不是完整开放工具使用能力。真机规模较小，主要说明 pipeline 可部署，不足以证明动态、长时序或强交互场景下的泛化。
Limitation
最大限制是问题被转移了，而不是完全解决了：开放 affordance grounding 被转移成开放 object/part recognition、part selection 和 reconstruction。只要 VLM 选错工具或部件，后续几何再准确也无意义；论文失败分析也显示选择错误是主要失败源。第二，part abstraction 有表达上限：很多工具功能不是单个静态部件决定的，而依赖材料、刚度、质量分布、摩擦、可变形性和动态接触过程；这些属性在当前 pipeline 中基本没有显式建模。第三，单视角重建依赖 SAM3D 的 shape prior，尺度和几何错误会直接污染 planner。
泛化 claim 需要谨慎看待。GROW2 没有训练 affordance 模型，但不是没有数据依赖；它把数据依赖隐藏在 GPT-5.2、SAM3、SAM3D 的预训练语料里。所谓推理很多时候更像基于大模型先验的 semantic retrieval，而非物理因果推理。低层 planner 也没有形成长期状态建模，只是在 affordance 区域上执行手写技能模板。延迟约16.6秒意味着它更适合静态 tabletop setting，不适合快速闭环或动态 manipulation。增益归因不清：part bottleneck、SAM3D completion、VLM scaling、prompt engineering 各自贡献多少，文中未充分说明。
Takeaway
- 最值得记住的不是具体 pipeline，而是一个方法论：开放机器人任务中，与其端到端学习 dense affordance，不如寻找能连接语义和几何的中间结构。
- part 在这里是一个很强的 bottleneck，因为它既可被语言模型推理，又可被视觉模型 grounding。
- 这个方向后续可能会走向两类演化：一类是把这种 foundation-model pipeline distill 成低延迟、可闭环的 affordance model；另一类是引入主动感知和失败恢复，让 VLM 不再单轮 hallucinate，而是通过交互查询和物理验证修正选择。
- 可迁移的 insight 是：把大模型放在语义组合层，把几何精度交给专门视觉/3D模块，把机器人控制限制在可解释的区域约束上。
一句话总结
GROW2 是一篇典型的 foundation-model orchestration 型机器人论文，其真正贡献是用 object part 作为语义工具选择与3D affordance grounding 的中间变量，把开放工具使用从端到端 affordance 学习推进到结构化、可复用但仍强依赖大模型先验的 test-time grounding pipeline。