精读笔记
Problem Setting
Recover, Discover, Plan: Learning Skills and Concepts from Robot Failures（arXiv preprint / 2026）。
这篇论文不是在做一般意义上的 failure recovery，而是在处理一个更具体也更难的问题：当机器人在长时程 symbolic-planning-guided execution 中失败时，如何把局部失败经验转化成可复用的抽象规划知识。
已有 recovery learning 通常能学到“从某类失败状态出来”的 policy，但这个 policy 仍然是 reactive 的：planner 仍然不知道为什么会失败、何时应该提前调用 recovery skill、这个 skill 对未来状态有什么抽象效果。因此 test-time 一旦失败发生在不同对象、不同任务阶段、不同组合上下文里，单纯 recovery policy 很难泛化。
另一边，predicate / operator learning 通常假设已有固定技能库，或者有足够覆盖的离线 demonstration / transition data。问题在于真实机器人最缺的往往正是失败暴露出的新技能，而新技能一旦出现，旧抽象又不再完整。
所以关键矛盾是：RL 擅长局部连续控制修补，symbolic planning 需要离散、可组合、可预测的状态抽象；二者之间缺一个从失败经验到抽象模型更新的闭环。
Motivation
作者真正抓住的缺口是：失败不仅是 execution noise，也是一种结构化监督信号。一个失败告诉系统：当前 operator model 的 precondition/effect 不够细，或者技能库缺少使任务继续可解的动作。一个成功 recovery 又告诉系统：存在某种状态转换可以恢复 planner 的可行性。
已有路线不够的原因很清楚：
1. Recovery Chaining 这类方法只在失败后触发 recovery，本质上不改变 planner 的世界模型，因此不会学到“未来应该先打开抽屉再抓取”这类预防性知识。 2. Predicate invention 方法可以发现概念，但往往依赖固定技能库和覆盖充分的数据；它们不知道新技能从哪里来，也无法靠真实 interaction 自己扩展技能空间。 3. HRL / skill discovery 能扩展技能，但通常缺少 explicit relational abstraction，因此组合泛化弱，容易退化成图搜索或经验回放。
ReSYNC 的动机是把失败变成 abstraction acquisition 的入口：失败暴露缺口，恢复提供可学习技能，恢复轨迹及其反事实复用提供 predicate discovery 的自监督数据。
Core Idea
核心思想可以压缩成一句：把 local recovery 转译成 global planning abstraction。
ReSYNC 先让机器人在当前 symbolic model 下执行任务，失败后学习一个 recovery skill，使系统能回到 planner 可以继续完成任务的状态。但这一步本身不够；真正关键是第二步：系统用这个新 recovery skill 生成更多反事实轨迹，学习哪些 relational predicates 能解释这个 skill 的适用条件和抽象效果，并把这些谓词写入 operator model。这样，新技能不再只是失败后的补丁，而成为 planner 可以主动选择的动作。
这和 prior 的本质区别不是“多了 RL”或“多了 predicate learning”，而是信息流反过来了：不是给定 planner abstraction 后让 RL 填技能，也不是给定技能后离线学 predicate，而是 failure → skill → dreamed reuse data → predicate/operator → future planning 的闭环。这个闭环引入了一个很强但有效的 inductive bias：可泛化的恢复经验应该能被表达成 object-centric relational predicates，并通过 symbolic planning 组合。
Method
方法里值得保留的机制不是具体网络或超参，而是下面几层必要结构。
第一，失败挖掘用于把稀少失败扩成 recovery skill 的训练分布。课程中每个 stage 触发一类失败，系统识别 failure object 和 failed skill，然后通过相对位姿的重采样生成更多失败状态。它解决的是 RL 数据不足和失败覆盖太窄的问题。这里的强假设是失败可以被对象关系局部化。
第二，recovery skill 的 reward 不是外部 dense shaping，而是“执行完后 planner 能否继续完成原任务”。这点很关键：新 skill 的语义不是任意行为，而是恢复 abstract planner 的可达性。它把低层控制目标和高层规划模型绑定起来。
第三，dreaming 是论文最核心的 data mechanism。仅用原始 recovery 轨迹，predicate learner 很容易把“抽屉打开”误学成“锤子在打开的抽屉里”这种上下文绑定概念。Dreaming 通过把 failure object 与其他 reference object 组合，生成 recovery skill 在新对象/新上下文中的复用轨迹，迫使 predicate discovery 找到更可迁移的关系概念。
第四，predicate selection 不是只追求分类可分，而是用 planning objective 选择能让 operator model 复现轨迹并降低搜索成本的谓词。这避免 abstraction library 膨胀成一堆局部 detector。
第五，多阶段 fine-tuning 处理旧谓词在新技能分布下的 semantic drift。这个机制对 continual learning 是必要的，否则新增技能改变状态分布后，早期 predicate 的 truth value 会变得不可靠。
Key Insight / Why It Works
我认为 ReSYNC 有效的核心不是 PPO 学得多好，而是它把 recovery experience 重新组织成 predicate learning 的覆盖数据。真正的贡献在于 data distribution design + relational abstraction alignment。
第一，失败状态天然位于当前抽象模型的 decision boundary 附近。它们比随机探索样本更有信息量，因为它们正好指出 planner model 缺少的前提条件。因此从失败出发学概念，比从均匀 trajectory data 中 blind predicate invention 更 sample-efficient。
第二，recovery skill 提供了一个因果干预近似：执行它前后，哪些关系变化导致 planner 重新可行。虽然这不是严格因果识别，但在 object-centric、局部接触、低维状态下，它足以为 predicate invention 提供强监督。
第三，dreaming 的作用非常大，可能是主要增益来源之一。它本质上是在做 counterfactual data augmentation，使 predicate learner 不被原始失败上下文污染。没有 dreaming，RC+IVNTR 已经说明单纯“recovery + predicate learning”会明显弱很多。因此 ReSYNC 的泛化很大程度来自 dreamed data 覆盖，而不是 planner 突然具备了更强 reasoning。
第四，planning objective 让 predicate discovery 对下游搜索有选择性。这比只学 skill terminal predicates 更强，因为它鼓励发现能缩小 abstract search space 的中间状态概念。这个部分是实质创新，尤其相比 DSG-style graph expansion。
第五，所谓 proactive planning 的本质是把 test-time recovery compute 前移到 train-time abstraction learning。它不是开放世界推理，而是通过训练阶段的反事实覆盖，把未来可能失败的组合预编码进 operator model。这个判断很重要：方法 scalable 的前提是未来变化仍落在 object-relational recomposition 的闭包里。
哪些可能只是辅助：具体 RL 算法、MLP classifier、PDDL planner 都不是核心。哪些可能主要来自 scaling / data：dreaming trajectory 数量、课程设计、resettable simulator、object swapping 生成的测试分布与训练增强机制高度匹配，这些都会显著贡献性能。
Relation To Prior Work
ReSYNC 位于三条线的交叉：recovery learning、predicate invention for bilevel planning、HRL / skill graph discovery。
相对 Recovery Chaining，真正新增的信息是 learned recovery skill 会被提升为 symbolic operator，并通过新 predicate 改写 planner model。RC 只是在失败后调用局部 policy；ReSYNC 让 planner 预测何时需要这个 policy。
相对 IVNTR / predicate invention，ReSYNC 不再假设固定技能库和离线 demonstrations，而是用 failure-driven interaction 产生新技能，再用 dreaming 自己生成 concept-learning dataset。这里的新意不是 predicate learning objective 本身，而是把在线技能扩展和 predicate discovery 绑成闭环。
相对 DSG / HRL，ReSYNC 的差别在于不只学技能图或 terminal predicates，而是学习 relational predicates 以优化 explicit abstract world model。DSG 更像 reachability graph expansion，ReSYNC 更像 model repair + vocabulary expansion。
也有一些“看似新但其实是重组”的部分：PDDL operator learning、effect-centric predicate discovery、RL recovery、curriculum learning 都已有。实质创新在于把它们通过 failure → recovery → dreamed reuse → predicate selection 这个信息流串起来，并证明这个闭环能把 reactive recovery 转为 proactive planning。
Dataset / Evaluation
实验覆盖四个模拟域和两个真机域，任务形态包括导航/运输、2D 堆叠、3D 抽屉操作、家居 rearrangement，以及真实 UR 机械臂非抓取恢复。覆盖面在 robotics abstraction learning 论文里算比较强，尤其真机部分增加了可信度。
评估最有意义的是 compositionally novel test tasks：测试不是简单同分布复现，而是把 failure-related object state 换到其他对象或任务阶段，看系统能否主动调用 recovery skill。这个设置确实对准了论文 claim：局部恢复是否能变成组合泛化。
不过 evaluation 也有明显限制。测试分布和 dreaming 机制高度同构，都是 object-centric swapping / relational recomposition；因此结果验证的是“在设计好的 relational closure 内泛化”，不是开放世界泛化。课程由用户设计，每个 stage 的 failure mode 相对清晰，failure object 可识别，这大幅降低了问题难度。
真机实验很有价值，但规模小，且 predicates 仍从模拟 object poses 学，视觉感知主要作为状态估计前端。它证明 pipeline 可跑通，但还不足以说明在复杂真实家庭环境中 abstraction discovery 能稳定工作。
总体看，实验支持核心机制优于 reactive recovery 和 fixed predicate learning，但对自动发现失败类型、复杂多物体因果归因、高维视觉泛化的 claim 支撑不足。
Limitation
最关键的隐含前提有几个。
第一，失败必须能被离散地分 stage，并且每个 stage 有相对明确的 failure object / failed skill。真实环境中失败往往是多因素耦合的，例如 perception error、contact instability、occlusion、controller drift 同时出现；这时 pairwise relational Gaussian 很可能不够。
第二，方法 heavily relies on simulator reset and counterfactual data generation。Dreaming 是核心，但也是上限：如果不能自由重采样状态、验证稳定性、批量 rollout，新概念学习会很难。真机里这部分基本还是依赖模拟。
第三，泛化边界是 relational recomposition，不是语义外推。只要 test failure 可以由训练中见过的 failure objects、skills、relations 组合得到，ReSYNC 很强；但遇到新物理机制、新对象 affordance、新长期依赖，它未必知道如何 invent 对应概念。
第四，predicate expressiveness 受 IVNTR 限制，包括有限 effect profile、一对一 skill-operator mapping、相对简单的 symbolic effects。复杂技能的多模态结果、概率效果、条件效果、资源约束、历史依赖都没有充分表达。
第五，增益归因不完全清楚。ReSYNC 同时引入了更多数据、更强 curriculum、更好的 abstraction selection、更大的 test-time symbolic search。虽然消融说明 dreaming/fine-tuning 有用，但核心提升中有多少来自“真正概念发现”，多少来自 data augmentation 与 benchmark overlap，仍不完全可分。
第六，planner 的 reasoning 可能被高估。它是在 learned predicates 上做 classical planning；如果 predicates 错、operator effects 偏、skill execution stochastic，系统仍会脆弱。真实实验中的失败也显示高精度接触和感知噪声会很快成为瓶颈。
Takeaway
- 1. 最值得记住的是：失败可以作为 abstraction learning 的监督信号，而不只是 recovery policy 的训练起点。
- 这是可以迁移到其他 embodied agent / lifelong learning setting 的 insight。
- 2. Recovery skill 的价值不在于“能救回来”，而在于它提供了一个新的 state transition；如果这个 transition 能被关系谓词解释，就能进入 planner 的组合空间。
- 3. Counterfactual data generation / dreaming 是连接局部经验和组合泛化的关键。
一句话总结
ReSYNC 是一篇把 robot failure recovery 从反应式策略学习推进到 failure-driven symbolic abstraction repair 的工作，其真正贡献在于用恢复经验和反事实 dreaming 闭环地共同学习技能与关系概念。