精读笔记

Problem Setting

论文标题：An Optimal Control Formulation of Tool Affordance Applied to Impact Tasks（IEEE Transactions on Robotics / 2024）。

这篇论文真正处理的是一种被很多工具使用任务掩盖的问题：机器人不是只要“抓到工具”并“到达目标姿态”就够了，抓工具的方式本身会改变后续使用工具时的能力边界。对于 hammering 这类 impact-aware task，关键不是末端是否能到达钉子上方，而是 robot-tool system 在冲击方向上能否产生足够大的局部速度。

困难点在于抓取阶段和使用阶段之间存在强耦合。工具柄上的抓取点通常不是唯一的，抓取姿态也有冗余；这些自由度如果只按几何可达性或抓取舒适性消解，可能会得到一个“能抓、能放到位、但不好打”的姿态。以前常见做法要么把 grasping 和 manipulation 分开处理，要么把 hammering 视作已知预冲击姿态下的控制问题，因此缺少从后续冲击需求反向塑造抓取策略的机制。

这个任务的关键矛盾是：抓取 affordance 希望保留范围自由度，而冲击任务希望在特定方向上集中运动能力。论文的贡献就是把这两个看似不同的约束放进同一个 OCP，让抓取点选择成为后续 directional manipulability 最大化的一部分。

Motivation

作者的出发点不是“机器人需要理解工具 affordance”这个泛化命题，而是一个更窄但更有操作性的观察：人在使用同一把锤子时，锤钉子和拔钉子的握法不同，因为任务所需的身体能力不同。锤钉子需要沿钉子方向产生高速度；拔钉子需要沿特定方向产生大静力。这说明工具 affordance 不是工具几何的静态属性，而是工具、抓取方式、机器人当前构型、后续任务方向共同决定的 action capability。

已有路线缺的是这种跨阶段的能力传播。学习式 task-oriented grasping 可以从数据中学到某些抓法，但解释性弱，而且不显式利用机器人构型的 manipulability；传统轨迹优化能处理约束，却通常把 via-point 当作点目标，而不是一个可利用的 affordance range；manipulability tracking 能控制整椭球形状，但在方向性任务中容易优化无关轴。

因此本文要补的缺口是：给定工具可抓区域和后续任务方向，如何让规划器自动在抓取范围内选择一个对后续动作最有利的 grasp/posture。这里的“affordance”本质上被工程化为一个可投影的空间约束，而不是开放语义理解。

Core Idea

核心思想可以概括为：把工具使用规划改写为“带范围 via-point 的最优控制问题”，并在终端加入“沿任务方向的速度可操作性最大化”。工具柄不是一个必须命中的点，而是一个允许选择的凸区域；这个区域给规划器提供了自由度。directional manipulability cost 则告诉规划器如何使用这个自由度：选择那个能让工具头在 hammering 方向上速度投影最大的 robot-tool configuration。

这改变了建模方式。传统 pick-and-place 中 via-point 通常是位置约束，抓取点选择只服务于到达和避障；本文把 via-point range 当成工具 affordance 的代理，并让后续任务能力通过 manipulability cost 回传到抓取姿态。这相当于引入了一个很强的 inductive bias：对于冲击任务，姿态优劣应由目标方向上的局部速度放大能力评估，而不是由全局 ellipsoid 体积、轨迹平滑性或示教相似性评估。

本质区别在于信息流被重新组织了：不是先抓工具再规划使用，而是在同一个 OCP 中让“如何使用”决定“如何抓”。这比纯学习式 affordance 更可解释，也比单纯 manipulability maximization 更 task-conditioned。

Method

方法只需要抓住三个机制。

第一，工具 affordance 被表示成 task-space hard constraint。锤柄可抓区域被近似为一个长方体/棱柱范围，在 pick-up timestep 激活。这个设计解决的是“抓取点不唯一但必须合法”的问题。相比把抓取点写成软 cost，hard constraint 保证工具确实在可抓区域内被抓，同时保留范围内的优化自由度。

第二，ADMM-iLQR 用来处理“非线性动力学/运动学 + 非二次 cost + 简单凸约束”的组合。iLQR 在局部线性化和二次近似下求 trajectory update；ADMM 把状态/控制约束拆出来，通过 projection 保证范围约束和速度边界。这里 ADMM 的作用主要是让 task-space range constraint 更自然地并入 iLQR，而不是提出新的最优控制理论。它是一个合适的求解框架，但不是本文最深的 insight。

第三，最终姿态上的 directional velocity manipulability 是核心任务 cost。作者比较了三种 manipulability 使用方式：方向投影、体积最大化、期望椭球 tracking。directional cost 只优化任务相关方向，避免把优化资源浪费在无关轴上；体积指标会偏向各向同性放大，不保证冲击方向；整椭球 tracking 则依赖人工指定可达且合理的目标椭球，容易把次要轴也变成负担。

此外，工具被抓后作为 robot kinematic chain 的外部 link，工具头成为新的 end-effector。这个处理使 manipulability 评估发生在 hammer head，而不是 gripper。本质上这是把 grasp location 对后续速度能力的影响显式写入雅可比。

Key Insight / Why It Works

最重要的 insight 是：在这类 hammering 设置下，directional velocity manipulability 是一个足够好的 pre-impact performance surrogate。由于锤子质量固定，且 pilot hole 降低了侧滑、旋转、塑性损失等复杂因素，钉入深度主要受冲击前锤头沿钉子方向速度影响。于是，最大化 robot-tool system 在该方向上的速度投影，确实会提高可实现的 hammering 效果。

真正起作用的不是 ADMM，也不是 iLQR 本身，而是这个 task-aligned inductive bias。ADMM-iLQR 提供了求解能力；directional manipulability 提供了正确的优化方向。若没有这个方向性偏置，规划器仍能找到可达姿态，但可能把冗余自由度消耗在无关方向的 dexterity 或几何舒适性上。

这不是 scaling，不是 data coverage，也不是 retrieval。它更接近“把任务物理结构压缩成一个可优化的局部几何指标”。论文的增益主要来自 representation alignment：评价姿态的指标与 hammering 的实际成功因素对齐。相比之下，common manipulability volume 和 desired ellipsoid tracking 都存在 representation mismatch：前者太不特定，后者太强且人工。

不过要直接说，本文的成功也依赖问题被简化得相当干净。pilot hole、软材料、轻质 3D 打印锤、固定 hammering 方向、已知抓取区域都让 directional velocity 成为主导因素。一旦接触损失、锤头姿态稳定性、抓取微滑、工具惯性分布变复杂，directional manipulability 与真实冲击效果之间的因果关系会变弱。文中用插入深度间接估计冲击效果，这个证据方向是对的，但不是严格的动力学验证。

Relation To Prior Work

最接近的技术谱系有三条：constrained trajectory optimization / iLQR-DDP，manipulability optimization / ellipsoid tracking，以及 task-oriented tool grasping。

相对 constrained OCP，本文的新意不在 ADMM-iLQR 这个组合本身。ADMM 处理投影约束、iLQR 做局部二次优化都是已有套路。实质新增是把 tool affordance range 作为 task-space hard constraint，并让后续 manipulability objective 通过同一个 OCP 影响 grasping via-point 的选择。

相对 manipulability ellipsoid 工作，本文避免了“追踪一个完整期望椭球”的问题。Jaquier 等路线关注 ellipsoid tracking/transfer，适合需要整体 dexterity shape 的任务；但 hammering 是方向性极强的任务，优化整椭球反而会引入无关约束。本文更像是把 manipulability 从全局 posture quality metric 改成 task-direction-specific utility。

相对 learning-based task-oriented grasping，本文没有学习工具 affordance，也没有试图泛化到任意工具形状。它牺牲语义泛化，换取可解释性和小样本/无数据设置下的规划能力。看似“affordance”概念很大，实际贡献是一个 optimization-friendly affordance parameterization。

因此这篇属于 model-based planning 中加入 task-specific morphology/affordance bias 的路线，而不是 learning affordance 或 contact-rich hammering dynamics 的路线。

Dataset / Evaluation

评估覆盖了从简化 2D via-point range 到 3D Franka pick-and-place，再到真机 hammering。这个设计能验证两个层次的 claim：ADMM-iLQR 能处理带范围 via-point 的约束规划；directional manipulability 在 hammering 前姿态选择中优于其他 manipulability 指标。

真机实验是加分项，因为它确实展示了不同预冲击姿态会带来不同 nail insertion depth。但任务覆盖范围仍然很窄：单一工具类型、已知抓取区域、固定抓取方式、使用 pilot hole、软质材料平台。它验证的是“在受控 hammering setting 中，该 surrogate 有用”，而不是广义 impact-aware tool-use planning。

baseline 选择基本合理：不考虑 manipulability、体积最大化、期望椭球 tracking、人类示教。最有说服力的比较是 directional vs common metric，因为它直接说明方向性指标比体积指标更适合冲击任务。desired ellipsoid tracking 表现差也符合预期，但这个 baseline 有点容易被打败，因为人工设计目标椭球本来就可能不可达或过约束。

评估的明显 limitation 是冲击力没有直接测，而是用插入深度和回归模型间接估计。作者解释了传感器会改变锤头质量分布，这合理，但仍意味着物理因果链不是完全闭合。另一个问题是失败案例部分没有系统纳入统计，尤其是 grasp instability 和 hitting deviation，这些恰好是实际工具使用中的关键因素。

Limitation

这篇方法的上限主要由建模假设决定。

第一，affordance 是人工给定的凸范围，不是从视觉、触觉或交互中发现的。换句话说，论文没有解决“工具哪里可抓、怎么抓稳定、不同抓法对应什么功能”的开放 affordance 问题，而是解决“给定可抓范围后如何选择最有利点”的优化问题。

第二，工具被抓后近似为刚性外链，但真机中作者自己也观察到锤子会旋转、滑移、受支架扰动影响。只要 grasp 不稳定，robot-tool Jacobian 上的 manipulability 计算就会偏离真实工具头运动能力。这里方法把一个很难的问题转移到了稳定抓取和工具固定上。

第三，velocity manipulability 只描述局部速度生成能力，不描述完整冲击动力学。论文显式假设软连接使机器人惯性在冲击中可忽略，工具惯性主导；这个假设对轻工具和软材料可能成立，但对硬接触、重工具、反冲明显的任务不一定成立。对于拔钉、凿击、切削等需要力、刚度或阻抗控制的任务，velocity manipulability 未必是正确指标。

第四，优化仍然是局部的。文中也承认 directional manipulability 有时会陷入差局部最优。ADMM 不提供全局保证，iLQR 的二次近似和 line search 也会受初始化影响。所谓“自动选择理想抓取点”在复杂场景中可能需要多初始化、采样或全局搜索配合。

第五，joint limits 被部分作为 soft constraint 处理，以避免过早限制探索。这在优化上实用，但真实部署中可能导致后续 hammering phase 触碰物理限制。文中一些 failure 正是发生在 impact phase，而该阶段没有完整纳入规划。

Takeaway

• 1. 对方向性任务，不要默认 manipulability volume 是合理指标；任务方向上的投影往往才是有效的姿态 utility。
• 2. 工具 affordance 可以不必一开始就做成语义学习问题。
• 对于已知工具和任务，把 affordance 表示为可优化的约束范围，再用后续任务目标消解范围自由度，是很强的 model-based baseline。
• 3. 抓取和使用不应分阶段独立优化。

一句话总结

这篇论文把工具 affordance 从语义概念落到“可抓范围约束 + 任务方向 manipulability 优化”的 model-based OCP 中，真正贡献是用方向性能力指标把抓取姿态选择和后续冲击性能耦合起来。