精读笔记
Problem Setting
这篇论文实际解决的是开放世界机器人工具使用中的“which + where”联合 grounding：机器人面对一堆开放类别物体，需要选择一个可作为工具的物体，并定位工具抓取区域、工具作用区域和目标作用区域。真正困难点不是 affordance segmentation 本身，而是 semantic tool selection 和 geometric executability 之间的断裂。以前方法常卡在两端：工具使用工作往往默认工具已知或函数映射固定；affordance prediction 工作往往直接从任务预测区域，依赖训练数据且缺少跨类别功能迁移。关键矛盾是，开放类别工具使用需要语义常识判断“什么能当工具”，但最终执行又要求精确 3D 接触区域；单一模型很难同时做到。
Motivation
已有路线不够的根源在于建模粒度不对。类别粒度太粗，无法解释 plate edge 可以 cut；像素/点云粒度太细，又需要大量标注和低层数据覆盖。作者的核心观察是 object part 正好处在中间：它既是语言可推理的功能单位，也是视觉可定位的几何结构。缺口因此不是再训练一个更大的 affordance predictor，而是找到一种中间表示，让 VLM 的语义常识和视觉 foundation model 的定位能力可以组合。GROW2 的出发点很明确：避免让 VLM 直接做精细空间预测，也避免让几何网络从少量标注里学开放世界语义。
Core Idea
核心思想是把 open-world affordance grounding 从端到端的 task-to-region 映射，重构为以部件为中介的两级 grounding：先在语义层选择工具、目标和相关部件，再在几何层把这些部件落到 3D 区域。这个建模改变很关键，因为它把一个连续、高维、数据饥渴的问题变成了离散语义选择加视觉定位组合。
它引入的 inductive bias 是：工具功能主要由部件承担，而不是由物体类别或整体视觉相似性承担。相比 prior 中的 feature matching、keypoint prompting 或 supervised affordance segmentation，GROW2 更像一种 foundation-model orchestration：把 VLM 限制在它擅长的 commonsense / symbolic selection，把空间 grounding 交给 segmentation/reconstruction models。这个设计理论上更 scalable，因为新物体只要有可命名部件，就可能被纳入推理；但它的泛化也是“部件词汇覆盖意义上的泛化”，不是完整物理推理意义上的泛化。
Method
方法的关键不是模块数量，而是每一步都在降低另一个模块的失败模式。物体和部件候选枚举把 VLM 的开放生成约束成候选选择，减少不存在部件和错误对象的 hallucination。工具/部件选择把 affordance reasoning 显式拆成抓取关系和工具-目标作用关系，使输出直接服务 manipulation，而不是只生成一个抽象 mask。3D grounding 则把 part name 变成可执行区域：单视角下直接分割会被遮挡限制，所以先重建 mesh，再从多视角渲染中做 2D part segmentation，最后融合回 3D。这个机制的核心变化是用 test-time reconstruction 和 rendering 人为制造多视角观测，让 2D foundation model 的能力服务 3D affordance。低层执行部分主要是验证接口：用预测区域约束 grasp sampling 和任务关键位姿规划，它不是论文的主要智能来源。
Key Insight / Why It Works
最重要的 insight 是：VLM 对“哪个部件有功能”比对“图像中精确哪里是功能区域”可靠得多。GROW2 的有效性主要来自把 VLM 从空间定位任务中解放出来，只让它做语义离散决策；同时把 segmentation/reconstruction model 从功能推理中解放出来，只让它根据部件词定位几何区域。这是 representation alignment，而不是传统意义上的新学习算法。
最可能的核心贡献是 part-mediated decomposition。多视角渲染融合也很重要，但更像把单视角观测扩展成 test-time compute 的工程增强；没有它，遮挡和完整性会明显下降，但它不改变问题的语义结构。SAM3D、SAM3、GPT-5.2 的强能力显然贡献很大，因此部分增益可能主要来自 scaling / foundation model coverage。文中对增益归因不够彻底：没有充分隔离部件抽象本身、VLM 版本、SAM3D 重建和多视角融合的相对贡献。所谓 reasoning 更像在大模型语义记忆中 retrieval 出“任务—工具—部件”对应关系，再由视觉模型定位；它不真正验证材料属性、力学可行性或失败后的闭环修正。
Relation To Prior Work
它最接近三条路线的交叉：language-guided affordance prediction、open-world VLM manipulation、part-based manipulation。和 supervised 2D/3D affordance methods 的本质区别是，GROW2 不学习 task-to-mask，而是把 task-to-part 交给 VLM，再做 part-to-geometry grounding。和 one-shot correspondence / DINO matching 的区别是，它不依赖视觉相似性迁移，因为功能相似往往不等于外观相似。和 MOKA 这类 VLM visual prompting 的区别是，它避免让 VLM 直接选空间点，而是让 VLM 选语义部件，再由视觉模型定位。
看似新的地方有不少是已有思想重组：part abstraction、multi-view fusion、VLM tool selection、mesh reconstruction 都不是单独新概念。实质创新在于把它们组织成一个针对工具使用 affordance 的信息流，并明确区分“which”的语义选择和“where”的几何 grounding。这篇属于 foundation-model composition / test-time modular robotics 这条谱系，而不是端到端 robot learning。
Dataset / Evaluation
评估设计覆盖比较完整：标准 affordance benchmark 验证 mask/region quality，多物体 GROW2 Bench 验证 tool selection + affordance localization，仿真和真机验证区域是否能驱动实际工具使用。这个组合基本支持论文主 claim，即部件分解能提升开放类别工具使用中的 affordance grounding。
但 evaluation 也有明显边界。GROW2 Bench 由大模型生成 household 场景并经专家标注，任务和物体大多是可命名、可分割、刚性、桌面尺度的对象，天然适合 part-based VLM reasoning。仿真任务虽有五类，但 low-level skills 是任务特化手写的，因此成功率提升主要证明 grounding 更好，不证明获得了通用工具使用策略。真实世界实验有价值，但规模仍小，场景静态，且没有充分测试材料、重量、摩擦、遮挡极端情况和闭环恢复。标准 benchmark 上的增益也要谨慎解读，因为 GROW2 使用了非常强的外部 foundation models，和训练型 baseline 的资源假设不对称。
Limitation
核心限制是问题被转移了，而不是完全解决了。开放世界 affordance 被转移为开放世界部件命名、部件选择和部件分割；只要任务所需功能不能被稳定表达为常见部件名，方法就会失去抓手。VLM 的工具/部件选择是最大失败源，说明语义选择并不可靠，尤其在需要物理属性判断时可能会做出看似合理但不可执行的选择。SAM3D 的尺度和形状误差会直接污染规划；单视角重建在透明、反光、柔性、细长结构上都可能脆弱。
scalability 上限也很明确：每个场景多次调用 VLM、SAM3、SAM3D，延迟高，难以动态交互。所谓 zero-shot 泛化依赖大模型预训练数据覆盖和 benchmark 与互联网常识的 overlap；如果遇到罕见工具、非典型材料或需要组合多个接触阶段的任务，泛化可能迅速下降。planner 没有长期状态建模，也没有闭环 trial-and-error，因此系统更像静态 perception-to-plan pipeline，而不是具备持续推理和适应的工具使用智能。
Takeaway
- 第一，object part 是连接语言语义和机器人几何执行的高价值中间表示，这个 insight 可迁移到装配、开合、清洁、烹饪等需要功能区域的任务。
- 第二，VLM 在机器人中更适合做离散语义约束生成，而不是直接做精细空间定位；把空间问题交给专门视觉/几何模型通常更稳。
- 第三，test-time reconstruction + rendering 是把 2D foundation model 能力搬到 3D manipulation 的有效工程范式，但它带来延迟和重建依赖。
- 第四，未来更有价值的方向不是继续堆 prompt，而是把 part-mediated grounding 蒸馏成低延迟模型，并加入主动感知、物理验证和闭环执行。
一句话总结
GROW2 是一篇典型的 foundation-model modular robotics 工作：它真正贡献的是用“部件”把开放工具选择和 3D affordance grounding 重新组织起来，而不是学习了新的通用工具使用策略。