精读笔记

Problem Setting

这篇论文处理的是 robotic grasping 前的非抓取式准备动作：物体初始姿态不适合直接抓，机器人需要通过推、滑、重定向等接触交互把它变成可抓状态。真正困难点不是生成一个 grasp pose，而是决定 manipulation 阶段应把物体往哪里推。

传统 formulation 把这个问题写成 goal-conditioned pose reaching：给一个目标物体姿态，然后学策略把当前姿态调过去。这在 rearrangement 或 pose alignment 里合理，但在 grasp preparation 里很别扭，因为可抓状态天然是多模态集合，不是单点。关键矛盾是：控制学习需要明确、dense、稳定的目标；但抓取可行性对应的是一个集合性质，而且当前最近的可抓区域通常事先不知道。

以前方法卡住的地方在于目标 pose 既可能不是最近的可抓 basin，也可能动态上不稳定，还可能在已经可抓后继续诱导不必要的 corrective motion。也就是说，策略会优化“像不像 target”，而不是“是否更容易抓”。这篇论文试图把这个目标错配问题拿掉。

Motivation

作者的核心动机很清楚：为抓取做 manipulation 时，不应该问“目标姿态是什么”，而应该问“当前物体状态离可抓状态集合有多远”。已有路线不够，不是因为 policy architecture 不够强，而是因为 supervision signal 和最终 task success 没有对齐。

关键观察是 graspability 在 object configuration space 中通常有多个局部高值区域。给定一个 target pose 等价于人为选择其中一个 mode，并要求策略无论当前状态在哪里都朝这个 mode 走。这会破坏局部最优路径：物体可能已经接近另一个可抓区域，但 pose-reaching reward 仍然惩罚它。

因此缺口是一个能表达多解、能提供 dense reward、能决定何时停止、且不需要 test-time planner 选择目标姿态的中间表征。论文选择用 graspability field 填这个缺口。

Core Idea

核心思想是把 grasp preparation 从“追踪一个姿态”改写为“降低到可抓集合的距离”。作者先用 grasp synthesis 得到多个可执行 grasp，再在固定 top-down gripper frame 下反推出一组对应的 object reference configurations。然后在物体状态空间中定义当前状态到这些 reference 的 soft-min 几何距离；距离小表示物体已接近某个可抓构型。

这个建模改变了信息流：reference configurations 不作为 policy input，也不作为要追踪的 target pose，而只用来塑造 reward landscape 和监督 graspability predictor。策略看到的是观测，学到的是如何通过接触把物体推向任意可抓 basin，而不是某个预选目标。

本质区别在于它引入了“集合目标”的 inductive bias。prior 的 goal-conditioned policy 把多模态解空间压成单模态；GOMP 保留多模态，只要求进入集合附近。这在理论上更适合 grasp preparation，也更 scalable：新增 grasp modes 可以通过扩展 reference set 注入，而不是为每个目标重新规划或选择。

Method

方法里真正关键的机制不是 teacher-student、GRU 或 PPO，而是三层对齐。

第一，graspable set construction 解决的是目标定义问题。它用离线 grasp synthesis 把“可抓”投影成一批 object-centric reference states。这样 manipulation objective 不依赖某个末端抓取候选，也不需要 test-time grasp planner 在每步参与决策。

第二，graspability field 解决的是多解目标如何变成可学习 reward 的问题。hard minimum 会在 reference 切换时产生不连续；soft aggregation 提供平滑下降方向；anchor term 则抑制不同 grasp modes 之间的来回跳变。这里的核心变化是把离散 grasp candidates 变成连续 state potential。

第三，potential-based shaping 解决 RL credit assignment。奖励来自相邻状态 graspability distance 的下降，因此策略会被鼓励做局部改进，而不是等到最终抓取结果才得到稀疏反馈。这使得非抓取式接触动作可以从仿真中稳定学出来。

第四，distance prediction 与 stopping 共用同一个量，解决了 manipulation-to-grasp transition 的人为阈值设计问题。虽然仍有阈值，但阈值作用在 normalized predicted field 上，而不是外部 planner 或手工状态机上。这个统一性是方法的一个实际优点。

Key Insight / Why It Works

这篇论文最有价值的 insight 是：grasp preparation 的 reward 应该对齐“可抓集合的吸引域”，而不是对齐某个姿态误差。只要这个 field 大致正确，策略就会自然学到“够了就停”的行为，因为继续操作不会显著降低距离，甚至会破坏稳定性。

真正起作用的部分大概率是 objective reformulation，而不是网络设计。CORN encoder、teacher-student distillation、GRU、domain randomization 都是合理工程，但不是核心创新。论文自己也承认 policy architecture 可替换，这基本说明贡献在 reward / representation 层。

它本质上是 better inductive bias + offline grasp prior 的组合。grasp synthesis 提供了隐藏监督，把可抓状态的结构预先编码进 reference set；RL 只需要学习如何通过 contact dynamics 下降到这些 basin。这不是纯粹从交互中发现 graspability，也不是强 reasoning，更像是把离线 grasp prior 转成可用于 manipulation 的 potential field。

soft-min 和 anchor 是辅助但重要的 engineering：它们让 field 更像可优化 landscape，而不是 reference retrieval。没有这些设计，策略可能在多个近邻 reference 间震荡。消融显示收益不是压倒性的，但方向合理。

需要注意，增益归因不完全干净。训练使用 teacher full observation、student distillation、action range curriculum、velocity stability curriculum、domain randomization，以及 reach reward 辅助探索。这些都可能显著贡献最终性能。文中未充分说明如果只换 objective、完全保持训练 recipe 简化后，收益是否仍然同样大。

另一个隐含点是：所谓 graspability distance 是否真的学到了 grasp feasibility，取决于 reference set 是否覆盖真实可抓状态、几何距离是否与动态可执行性一致、以及固定 top-down grasp assumption 是否成立。这里的 field 更像 task-specific feasibility proxy，而不是一般意义的 grasp affordance。

Relation To Prior Work

最接近的路线是 CORN / DyWA 这类 goal-conditioned whole-arm / non-prehensile reorientation policy，以及 push-grasp / affordance-guided manipulation。GOMP 与它们的差异不是“也会推物体再抓”，而是 manipulation objective 从 target pose 改成 object-state graspability set。

相对 CORN / DyWA，实质新增信息是 graspable reference set 和由此产生的 field。CORN 关注如何到达给定稳定目标姿态；GOMP 关注如何进入任一可抓区域。这个差异在任务语义上是实质性的，因为 grasp preparation 的成功集合本来就是多模态。

相对 affordance-guided manipulation，GOMP 不在每步选择或评估一个具体 grasp candidate，也不把 manipulation 规划成让某个 grasp reachable。它把 grasp candidates 汇总成 object-state potential，然后让 policy 直接优化该 potential。这是一个有用的重组：从 action-level grasp affordance 转到 state-level graspability。

看似新的部分中，potential-based shaping、teacher-student sim2real、recurrent partial observation、domain randomization 都是已有套路。实质创新在于把离线 grasp synthesis 的输出从“执行抓取的候选”改造成“非抓取式 manipulation 的目标集合”。这属于 grasp prior for contact-rich manipulation 的技术谱系，而不是通用机器人规划突破。

Dataset / Evaluation

评估覆盖了仿真中的 seen / unseen objects 和真机 Franka 上的多种日常物体，包含真实点云感知，没有外部 tracking。这对论文的核心 claim 是有一定说服力的，尤其是真机闭环 manipulation-to-grasp 比单纯仿真成功率更有价值。

不过 evaluation 的范围仍然较窄：单物体、桌面、固定 parallel-jaw、近似 top-down grasp、有限初始状态。它验证的是“在这个受控 grasp preparation setting 下，graspability field 比 target pose 更合适”，而不是验证一个广义可迁移的 manipulation representation。

baseline 设计基本合理，因为作者专门区分 pretrained baseline、retrained baseline、nearest-reference oracle 和 multi-reference oracle，试图区分 objective mismatch 与 implementation gap。但也要看到，baseline 本质上被迫在一个不适合 pose-reaching 的目标定义下工作；这正是论文论点的一部分，但也意味着实验更像验证 formulation advantage，而不是证明 policy learning 本身更强。

真机结果中，一旦 manipulation 成功，grasp 几乎都成功，这支持 transition distance 有意义；但总成功率受 reconfiguration 失败限制，且每物体 trials 很少。Fig. 6 的 distance separation 是重要证据，但还不足以证明 field 在分布外物体、遮挡、clutter 或非刚体上稳定成立。

Limitation

最大限制是方法把“指定目标姿态”问题转移成了“构造高质量 graspable set”问题。reference set 来自 off-the-shelf grasp synthesis，若 grasp generator bias、漏掉关键 grasp mode，或者生成的 grasp 在真实接触条件下不可执行，field 就会系统性误导 policy。

第二，距离度量是几何 keypoint alignment，它并不天然等价于 grasp feasibility。某些 SE(3) 上接近 reference 的状态可能动态不稳定，某些几何上较远的状态可能仍然可抓。论文用 velocity stability 和真实抓取验证补了一部分，但本质上仍是 proxy。

第三，泛化上限受限于物体类型和接触可控性。高度 deformable、低摩擦、易滑、形变大的物体已经显示失败；这说明策略不是学到了普适 manipulation reasoning，而是在刚体近似和可预测摩擦范围内工作。

第四，闭环能力可能部分来自工程堆叠：teacher full-state training、student distillation、curriculum、domain randomization、action clipping、reach reward 都很重。增益来源不清，尤其是 objective 改变与训练 pipeline 稳定化之间的贡献没有完全隔离。

第五，长期规划能力有限。field 提供的是局部下降信号，策略更像在 learned potential 上做 reactive contact control，而不是显式规划多步 contact sequence。遇到需要先远离可抓集合、绕障、翻越局部势垒的情况，可能会失败。

第六，所谓 target-free 有限定含义：test-time 不输入 target pose，但训练时仍用离线 reference configurations 和最近 reference 监督 grasp pose head。这不是无目标学习，而是把目标隐藏在 field 中。

Takeaway

• 最值得记住的不是具体架构，而是 formulation：当任务成功集合天然多模态时，不要把它压成单一 target pose；应把成功集合显式变成一个可优化 field。
• 这篇推动了 grasping 与 non-prehensile manipulation 的接口设计：grasp predictor 的输出不一定只用于最终执行，也可以转化为 manipulation reward landscape。
• 可迁移 insight 是“把离线可行解集合蒸馏成在线 dense potential”。
• 这个思路可以迁移到 rearrangement、tool use、pre-contact alignment、dexterous pre-shaping 等场景，只要能构造可行状态集合。

一句话总结

GOMP 是一篇把 grasp preparation 从目标姿态跟踪推进到可抓状态集合优化的 formulation paper，真正贡献是用离线 grasp prior 构造 object-centric graspability field，并将其统一为 manipulation reward、状态估计和停止准则。