精读笔记

Problem Setting

[Sequential Planning via Anchored Robotic Keypoints]（arXiv preprint / 2026-06-30）

这篇论文真正处理的是机器人操作中的 distribution shift 归因问题：当对象位置、任务语言或目标描述变化时，失败到底来自计划错、对象 grounding 错、还是控制不可达。现有 VLA 在标准 LIBERO 上高分，但很大程度依赖训练布局中的空间轨迹记忆；对象一移动，latent trajectory representation 就失效。Code-as-Policy 路线用 LLM 在测试时写控制程序，恢复了一些鲁棒性，但它把小的感知失败也当作“需要重新生成程序”的问题处理，成本高且粒度粗。

关键矛盾是：很多操作任务的抽象结构并不随场景位置变化而改变，但当前主流方法要么把结构和坐标一起学进 policy，要么每次失败都重构整个计划。SPARK 的切入点是把“稳定的任务结构”和“不稳定的视觉 grounding”拆开，让计划保持符号稳定，而把 test-time compute 投到重新找对象上。

Motivation

作者的核心观察是：Libero-Pro 这类扰动主要破坏的是 perception grounding，而不一定破坏 task program。比如“把碗放到盘子上”这件事，碗在左边还是右边不改变行为树结构；真正变的是碗对应的像素、深度和抓取点。

已有路线缺的是一个合适的中间层。端到端 VLA 没有显式对象身份、计划结构和失败模块边界；CaP-Agent0 虽然显式生成代码，但仍把大量低层几何、IK、深度投影、错误修复交给 LLM 每轮重写。SPARK 想补的是：一个可检查、可复用、可重新 grounding 的 typed execution substrate，使 LLM 不再承担每次 trial 的低层控制合成。

Core Idea

SPARK 的真正核心不是“LLM + SAM + BT”的拼装，而是重新组织了机器人操作的信息流：LLM 只生成一次 typed behavior tree，节点参数引用对象 label；对象 label 在执行时通过视觉 grounding 动态解析成 3D keypoint；primitive 执行后用 post-condition 判断是否成功，失败时优先重新检测对象并复用原计划。

这个建模方式引入的 inductive bias 很强：任务组合结构是低熵的、可符号化的；空间实例化是高熵的、应由感知闭环处理。相比 VLA，它不要求网络把对象身份、目标语义、运动轨迹混在一个 action head 里；相比 Code-as-Policy，它不让 LLM 反复写 quaternion、IK、深度几何，而是把这些封装进 primitive library。它更 scalable 的地方在于计划可以复用，感知可以替换，控制可以平台化；但这种 scalable 依赖 primitive vocabulary 覆盖任务空间。

Method

方法的必要机制可以压缩成四点。

第一，typed behavior tree 解决 LLM 输出不可控的问题。它把 planner 限制在一个类型检查过的 action grammar 中，避免任意代码生成带来的低层 API 错误，也让失败可以定位到具体 primitive。

第二，anchored robotic keypoints 解决 layout shift。行为树里不存绝对位姿，而存对象 label；执行时再解析当前 3D keypoint。因此对象被移动、第一次 grasp 失败或场景轻微变化时，不需要重写 plan，只需要重新 grounding。

第三，primitive post-condition 解决恢复触发和 failure attribution。每个动作都有可检查结果，失败后先做局部扰动，再 retract + rerun perception，最后才可能 replan。论文实验基本不用 replan，说明系统刻意验证的是“固定计划 + 感知恢复”的假设。

第四，adaptive perception self-consistency 解决 open-vocabulary detector 对 prompt 敏感的问题。它用一次额外 LLM call 生成多个对象 prompt，让 SAM3 选择最干净的检测。这本质是 perception-level test-time sampling，不是 planner reasoning 的提升。

Key Insight / Why It Works

最重要的 insight 是 test-time compute allocation：在这类 benchmark 上，把额外计算花在 perception grounding 比花在 plan regeneration 更值。这个判断很具体，也很有用：如果扰动主要是对象位置和表述变化，而任务程序结构稳定，那么重新找对象比重新想任务更有效。

我认为核心贡献是“typed symbolic plan + runtime perceptual anchoring”的系统化验证，而不是某个模块。它把 VLA 的隐式 trajectory memory 替换成显式 object-level abstraction，把 CaP 的自由代码生成替换成 typed primitive composition。有效性来自 better inductive bias 和 representation alignment：语言任务结构对齐到 behavior tree，对象短语对齐到 segmentation mask，控制目标对齐到 3D keypoint。

辅助部分是 adaptive prompt self-consistency。它带来很大增益，但技术上更像 prompt search / perception scaling，不是新的机器人规划理论。其失败也很说明问题：goal-task perturbation 中任务语义变化时，多 prompt 会把一个目标碎片化成多个弱检测，性能低于 fair baseline。这说明 SPARK 擅长解决“同一任务结构下的对象重定位”，不擅长解决“目标语义本身变了”的 grounding。

需要警惕的归因是：SPARK 的 planning 能力可能被 primitive library 强烈托底。所谓 LLM 组合新技能，很大程度依赖 grammar 设计者已经把可执行控制、force feedback、retry、IK 等困难部分封装好了。这里的“推理”更像在受限 DSL 中检索/组合合适 primitive，而不是形成长期因果状态模型。

Relation To Prior Work

SPARK 属于 neurosymbolic robotics / LLM-to-skill planning / grounded keypoint manipulation 的交叉谱系。它和 SayCan、Inner Monologue 的共同点是 LLM 选择技能；不同点是它不是 flat skill menu，而是 typed BT grammar，并且对象参数在执行时重新 grounding。

和 Code-as-Policy / CaP-Agent0 最本质的差异是抽象边界。CaP 把低层控制细节暴露给 LLM，用多轮代码合成修复错误；SPARK 把低层几何和控制封装进 primitive，把 LLM 限制为一次性计划生成。新意不在“LLM 生成程序”，而在把恢复机制从 plan layer 下沉到 perception layer。

和 ReKep、MOKA 等 keypoint 方法相比，SPARK 更强调显式 typed behavior tree，而不是连续优化的 relational keypoint constraints 或每 trial 的视觉标注选择。ReKep 更像在线重优化轨迹；SPARK 更像先写乐谱，执行时重新定位音符对应的物理位置。

看似新的部分里，BT、typed grammar、open-vocabulary detection、self-consistency 都是已有思想；实质创新是把这些组合成一个清晰的 compute allocation thesis，并在 Libero-Pro 和真机上证明 perception-layer sampling 比 plan-layer regeneration 更适合某类 shift。

Dataset / Evaluation

Libero-Pro 的位置与任务扰动确实能检验作者的主要 claim：标准 VLA 是否依赖 layout memory，以及 SPARK 是否能通过对象重定位恢复。结果最强的地方是 spatial suite，这正好对应作者假设成立的场景。CaP-Bench 则补充说明：在 pick-and-place 这类结构稳定任务上，一次 BT 足够接近甚至超过多轮 code agent；但在 Wipe、TwoArmLift、Handover 等需要中途观察和反馈的任务上，单次计划明显吃亏。

真机实验是论文比较有价值的部分：同一 grammar 跑在 UR10e、FR3、双臂 Franka 上，说明方法不是纯模拟 benchmark trick。但所谓跨 embodiment 需要打折理解：planner 和 primitive interface 迁移，控制器、深度、workspace、gripper force、IK 仍然是平台工程。evaluation 支持“模块化符号计划 + 感知重定位有用”，但不足以证明通用机器人泛化或长期任务推理。

另一个 limitation 是 benchmark 覆盖仍偏向短时序、对象级、桌面操作。它验证了 object-centric manipulation 的一类扰动鲁棒性，但没有充分验证复杂装配、强接触、多阶段状态依赖、开放世界失败恢复。

Limitation

SPARK 成立依赖几个强前提。第一，任务结构必须能被有限 primitive grammar 表达；一旦任务需要未封装的接触模式、动态交互或细粒度部件关系，LLM 不能凭空弥补 primitive 缺口。第二，对象必须能被 open-vocabulary detector 稳定分割，并且深度可用；透明、反光、暗色布料、细长物体、多实例歧义都会直接击穿系统。第三，失败主要应是 grounding error；如果失败来自任务语义误解或需要中途观察，固定 BT 反而是限制。

它的泛化不是端到端 policy 意义上的泛化，而是 symbolic interface 的复用。控制层仍有大量 embodiment-specific tuning，所以“training-free cross-embodiment transfer”更准确地说是“planner training-free，controller engineered”。

增益归因也有不清晰处。adaptive prompts 的收益可能主要来自更好的 detector prompting，而不是 SPARK 架构本身；primitive library 的设计可能隐含了大量专家知识；BT cache / in-context examples 如果扩大使用，可能带来隐式 retrieval 和 benchmark overlap。文中未充分说明这些缓存对最终结果的影响边界。

最根本的上限是：SPARK 没有长期状态模型。它能记录 trace、检查 post-condition，但不真正预测未来状态分布，也不学习失败后的策略改进。对需要 observation-gated planning 的任务，它目前只是把问题推迟给未来的 world model 或 VDM-like 模块。

Takeaway

• 1. 对机器人操作的 OOD 鲁棒性，首先应问 shift 发生在哪一层：如果是 object grounding shift，把 compute 花在 perception 比重写 plan 更划算。
• 2. typed intermediate representation 很关键。
• 它不只是为了可解释性，而是把 LLM 的自由度压到可执行、可检查、可恢复的空间里，从而让失败有模块边界。
• 3. object label 到 runtime keypoint 的延迟绑定是可迁移 insight。

一句话总结

SPARK 是一条把 VLA 的隐式轨迹记忆和 Code-as-Policy 的反复重规划，替换为 typed symbolic plan + runtime perceptual re-grounding 的 neurosymbolic 路线；它真正贡献的是证明在位置扰动类机器人任务中，感知层 test-time compute 比计划层 test-time compute 更有回报。