精读笔记

Problem Setting

《Task and Motion Planning for Execution in the Real》（IEEE Transactions on Robotics / 2024）关注的不是传统意义上“给定完整世界模型求一个 TAMP 解”，而是更现实的部分 grounding 场景：符号任务域大体已知，部分几何/感知/执行模型缺失，导致某些 symbolic action 在 planning time 无法转成 motion planning query，或者 motion query 即使可构造也不能可靠预测执行后的 world state。

真正困难点在于：TAMP 的优势来自把离散任务选择和连续运动可行性耦合起来，但这种耦合需要 grounding 信息；真实机器人执行又恰恰经常在遮挡、未知物体、接触动力学、模型误差处缺 grounding。以前方法要么假设完整模型，要么把不确定性全量建成 POMDP/MDP，要么进入 sense-plan-act 的短视 replanning。前者不真实，后者在长时程高维 manipulation 上代价太大。

这篇论文的关键矛盾是：不能因为少数动作不可 grounding 就放弃全局 TAMP；但也不能假装这些动作已经有可靠 open-loop motion plan。TAMPER 的问题设定就是在这两者之间建立一个可执行的中间表示。

Motivation

已有路线的不足可以概括为两类。经典 TAMP 能发现长时程符号约束和几何不可行性，但依赖完整 grounding；一旦 pose 不可见、接触结果不可预测、对象属性无法离线判别，planner 会把这些动作视为失败或不可规划。闭环 replanning / sensing-based TAMP 可以逐步获取信息，但通常把大量约束发现推迟到真实执行之后，容易产生不必要交互，甚至执行出危险轨迹。

作者的核心观察是：真实任务中的未知性通常是局部的，不是整个 task-motion problem 都不可建模。例如机器人、桌子、目标位置、部分物体和许多运动约束仍然可在规划期处理；只有某些 Pick、Open、Push-Pick 之类动作存在 gap。这意味着一个更合适的策略不是全局 belief planning，而是“能规划的先规划，不能规划的显式留洞，执行期用局部闭环策略补洞”。

关键缺口是：传统 TAMP 没有表示“这个动作目前不可 grounding 但可以执行期解决”的中间状态；execution-level behavior 的失败也通常不会被系统性地反馈为 task-level constraints。TAMPER 填的正是这个接口缺口。

Core Idea

核心思想是把 TAMP 输出从 fully grounded task-and-motion plan 放宽为 partially grounded task-and-motion plan：每个 action 要么带有预计算轨迹，要么带有一个 empty trajectory，表示该 transition 在规划期无法 grounding，但存在一个对应的闭环 behavior 可在执行期尝试完成。这样，规划器不再因为局部信息缺失而整体失败，而是保留已知部分的离线几何推理结果。

本质区别不在于用了 behavior；机器人系统里早已有 BT、skills、reactive controllers。真正变化是 behavior 被纳入 TAMP 的约束反馈循环：它不是一个执行层补丁，而是 partial grounding 的承接机制；其成功使系统重新接入预计算计划，其失败被抽象成新的符号约束，驱动替代 task plan 搜索。

这个建模方式引入的 inductive bias 是 action-local uncertainty：假设 gap 可以局部化到某些 symbolic transition，并由该 action 对应的闭环 behavior 处理，而不是需要全局策略覆盖所有 belief states。这使得方法比 POMDP 式全局不确定性规划更 scalable，也比纯 replanning 更能利用已有 TAMP 的长时程结构。

Method

方法层面最关键的不是具体传感器、DOPE、RRT-Connect 或 Z3，而是三类机制。

第一，canGround 作为 planning-time gate。它解决的问题是：在构造 motion query 前判断当前世界模型是否足以支撑该 action 的 grounding。这个函数把“motion infeasible”和“knowledge insufficient”区分开来。前者应反馈为几何/符号约束，后者可以留给 behavior。没有这个 gate，经典 TAMP 会把缺信息误当成不可行，或者生成不可靠轨迹。

第二，partially grounded plan。它解决的是长时程计划不能被局部 gap 阻断的问题。可 grounding 的动作继续走传统 motion planning；不可 grounding 但有 behavior 的动作留下空轨迹。核心变化是计划对象从完整轨迹序列变成“轨迹 + 待执行局部策略”的混合程序。

第三，execution-level constraint feedback。behavior 失败或 Repair 失败不是简单 abort，而是被转换为约束加入后续任务规划。这一点使 execution 不只是执行计划，而是成为约束发现过程的一部分。TAMPER 因此把经典 incremental TAMP 的“motion failure -> symbolic constraint”扩展为“planning/execution failure -> symbolic constraint”。

Repair 的作用是把 behavior 后的真实机器人状态重新连接到下一段预计算轨迹。它很必要，因为 behavior 的终态通常不等于规划器假设的起点；但它更像系统集成所需的接口机制，而不是论文最深的贡献。

Key Insight / Why It Works

这篇论文有效的根本原因是把不确定性处理从“全局建模”降维为“局部执行”。在 manipulation TAMP 中，真正导致规划爆炸的不是所有动作都不确定，而是少数 grounding gap 破坏了完整计划链。TAMPER 把这些 gap 显式隔离，让经典 TAMP 继续处理其擅长的部分：长时程离散约束、几何碰撞、顺序依赖、不可达性剪枝。

最核心贡献是信息流重组：规划期尽可能发现 motion constraints，执行期只处理规划期无法知道的局部事实，执行失败再回写到符号层。这个机制避免了两种极端：一是完全 open-loop 的脆弱性，二是每一步都重新感知/规划的短视和低效。

这不是 scaling，也不是 data-driven generalization；它更接近 better inductive bias + test-time compute。better inductive bias 在于把 gap 绑定到 action-level behavior；test-time compute 在于 behavior 内部在线感知、在线规划、在线控制。所谓“泛化”主要来自框架接口允许不同 behavior，而不是系统自动泛化到未见 gap。

哪部分可能只是辅助：具体 occlusion model、placement sampler、Repair 策略、特定 Pick / Push-Pick / OpenDrawer behavior 都是强工程成分。它们对实验成功很重要，但不是普适机制。尤其是 Push-Pick 的成功很大程度依赖人工设计 behavior 覆盖了 benchmark 中的接触不确定性；如果换一种物理交互，框架仍在，但能力不一定在。

需要直接指出：TAMPER 没有真正解决 uncertainty modeling。它把 uncertainty 变成 canGround 的二值判断和 behavior 的成败反馈。这个选择工程上合理，也解释了为什么它比 POMDP scalable；但它牺牲了对概率、风险和信息价值的系统推理。

Relation To Prior Work

它最接近三条路线：constraint-based TAMP、closed-loop/replanning TAMP、behavior tree / reactive manipulation。与经典 constraint-based TAMP 的本质差异是允许 incomplete grounding 并把 execution failure 纳入约束栈；与 closed-loop TAMP 的差异是它不是每次只根据当前观测贪心规划局部子目标，而是保留全局 TAMP 对长时程约束的推理；与 BT/reactive policy 的差异是 behavior 不是完整任务策略，只负责填补 action-level gap。

看似新的部分里，很多组件是已有思想重组：incremental constraints 来自传统 TAMP；闭环 behavior 来自 reactive manipulation；失败后 replanning 是执行监控常识。实质创新在于给这些东西一个明确的 partial grounding 语义，并定义了 planner-execution 之间的接口：empty trajectory、behavior bridge、execution constraint feedback。

它属于“model-based planning augmented by execution-time skills”的技术谱系，而不是端到端学习、全局 belief planning 或纯 reactive control。论文的真正新增信息是：在真实 manipulation 中，不必把所有 gap 都提升成全局不确定性规划问题；只要 gap 可局部化并有 behavior 处理，就能保留 TAMP 的主要收益。

Dataset / Evaluation

评估的强项是使用真实 Fetch 机器人，任务不是单步 pick-place，而是含顺序约束、遮挡、抽屉、接触执行误差、多次 replanning 的长时程 manipulation。作者还提供 real-robot TAMP 数据，包括位姿、点云、RGB、domain models 和 ROS bag，这对该方向有实际价值，因为真实 TAMP benchmark 一直稀缺。

实验确实支持核心 claim 的一部分：当任务中存在局部 gap，同时大量几何约束仍可规划时，TAMPER 比只依赖闭环 replanning 的 baseline 更高效、更安全。Kitchen Arrangement 中 baseline 因 push 后状态预测错误导致后续轨迹碰撞风险，这很好地说明了 open-loop 或不充分闭环的危险。

但评估覆盖仍有限。benchmark 是人工设计的，gap 类型虽然多样，但每类都有对应人工 behavior。它验证的是“如果给定合适 behavior，框架能把 TAMP 与 behavior 组合起来”，而不是验证系统能自动泛化到新 gap。baseline 也偏单一路线，缺少与更强的 belief-space / hierarchical policy / BT planner 的系统比较。增益归因基本清楚地来自结构设计，但具体有多少来自框架、有多少来自手写 behavior 和场景适配，文中未充分拆解。

Limitation

最大限制是问题被转移了。TAMPER 不解决如何获得 behavior，只假设 behavior 已经存在且对相应 gap 有足够覆盖。对真实部署而言，behavior 的设计、验证、适用条件、失败模式才是最难的部分之一。论文承认这一点，但实验成功高度依赖这些人工模块。

第二，canGround 是强隐含监督。它必须知道“什么不知道”，并能判断当前模型是否足以 grounding。现实中这个判断往往比 motion planning 本身更棘手：pose estimator 没检测到还好说，但接触模型不可靠、物体属性未知、sim-to-real gap 何时会破坏后续轨迹，未必能被二值函数准确捕捉。文中未充分说明 canGround 的一般构造方法。

第三，behavior 优先策略可能不是最优。论文默认当 action 不可 grounding 且有 behavior 时优先尝试 behavior，而不是先搜索绕开该 gap 的替代计划。这在 benchmark 中有效，但在多解任务中可能浪费真实执行，甚至引入风险。缺少一个 cost/risk-aware 的 planning-execution tradeoff 模型。

第四，理论保证很弱且依赖无不可逆失败。只要 behavior 可能把系统带入未建模 dead-end，例如打碎物体、卡住抽屉、改变环境拓扑，TAMPER 和经典 TAMP 一样只能失败。所谓 probabilistic completeness 只有在 behavior 不导致不可逆状态、planning modules complete 且域模型覆盖关键失败时才成立。

第五，泛化性主要是框架级的，不是能力级的。换新任务时需要新的 symbolic encoding、canGround、behavior、repair strategy 和感知接口。论文展示了 extensibility，但没有证明低工程成本的泛化。

Takeaway

• 第一，partial grounding 是比“完整 TAMP vs POMDP”更实用的中间问题形式。
• 很多真实机器人任务不需要全局不确定性规划，只需要允许计划里存在可执行期补齐的局部洞。
• 第二，未来有价值的方向不是再堆更多手写 behavior，而是学习 behavior applicability、failure constraints 和 cost model，让 planner 能理性决定何时执行、何时绕开、何时收集信息。
• 第三，这篇论文推动的是 TAMP 的 execution-aware 化：真实执行不再只是验证计划，而是约束发现和 grounding 完成的一部分。

一句话总结

这篇论文把经典约束式 TAMP 扩展为一种 execution-aware、partially grounded 的混合规划框架，真正贡献不是新 planner 或新 skill，而是把规划期可知约束、执行期闭环 behavior 和失败反馈组织成一个能处理真实 grounding gap 的系统接口。