精读笔记

Problem Setting

这篇论文实际处理的是部署期 policy recovery：一个从离线专家数据训练出的 diffusion policy 在真实执行中失败后，环境不重置，只把机器人本体回到起始姿态，然后允许多次 retry。困难点不在于多给几次尝试，而在于失败后的环境状态通常是专家数据没有覆盖的 OOD state，原 policy 在这些状态上会沿着相同动作模式再次失败。以前方法要么依赖人类纠正，要么用非参数 retry / rejection sampling 避免重复动作，但它们没有真正改变 policy 本身。关键矛盾是：恢复需要离开原来的失败模式，但可执行动作又必须仍然贴近原 policy 的 learned support。FAR 试图在这个缝隙里做局部 test-time adaptation。

Motivation

已有路线缺的是一种低成本、无需人工、能从失败本身提取监督的机制。naive retry 的问题是没有记忆和学习，Bellman-Guided Retrials 这类方法有 failure memory 但主要是 action selection 层面的非参数规避，不能把一次失败转化为下一次 policy 分布的系统性变化。offline-to-online RL 可以改进 policy，但通常需要大量 reset 和交互，而且把失败 episode 直接纳入训练会有噪声。作者的核心观察是：失败轨迹不是废数据，它暴露了当前 policy 的能力边界；但这个信息必须被结构化成“哪些局部动作应被压低，哪些替代动作应被提高”的对比信号，而不是粗暴地 cloning 或丢弃。

Core Idea

FAR 的核心不是“retry + noise”，而是把失败后的 retry 重新建模为一个 test-time preference optimization 问题。失败轨迹中 value 明显下降的 action chunk 被当作 negative；同一状态下从当前 policy 采样、经过距离过滤并由 critic 选出的高值候选被当作 positive；然后用 pairwise preference loss 在 diffusion policy 上做少量梯度更新。这样，retry 不只是重新采样，而是 policy 分布在局部状态附近被主动推离已知失败动作。更本质地说，FAR 引入了一个 failure-contrastive inductive bias：失败提供的不是绝对 reward，而是相对排序。这个 bias 比 dense RL update 更轻，比 rejection sampling 更可累积，也更适合 diffusion policy 这种显式 likelihood 不易获得但 denoising score 可用的生成式策略。它改变了信息流：部署交互不再只是 evaluation，而是即时生成 preference data。

Method

方法层面真正必要的机制有三类。第一是 failure attribution：用 IQL 风格的保守 value / Q 来定位失败轨迹中 value drop 最大的 chunk，解决“整条失败轨迹并非都导致失败”的 credit assignment 问题；这一步的质量直接决定后续 adaptation 是否有效。第二是 contrastive sample construction：positive 不是专家标签，而是从当前 policy support 内采样、避开过近失败动作、再由 critic 选出的相对高值动作；它的作用是在避免重复失败和保持动作可执行性之间建立局部 trust region。第三是 diffusion preference adaptation：用 denoising loss 差值作为偏好分数，降低 positive chunk 的 loss、提高 failed chunk 的相对 loss，从而在几步梯度内改变下一次 retry 的采样分布。action perturbation 解决的是 support 不足和局部探索问题，continual improvement 则把成功恢复轨迹作为高价值 online data 纳入 advantage-weighted diffusion fine-tuning。

Key Insight / Why It Works

最可能有效的核心是“失败样本的相对化”。直接把失败轨迹做负学习会毁掉 policy，因为失败状态里仍包含大量正常动作；直接 imitation 成功 retry 又稀疏且来得晚。FAR 把失败局部化到 value drop chunk，再把监督转成同状态下 positive-vs-negative 的 preference，这使得 test-time update 既有方向又不需要完整 reward optimization。第二个关键是它没有要求 positive 来自人类或 oracle，而是从 policy 自身分布中找 critic 更认可的替代动作；这本质上是 self-generated local counterfactual。这里的能力更像 test-time compute + memory reuse + better inductive bias，而不是新的长期推理能力。扰动项大概率是辅助但重要：它让 policy 能走出原支持的局部 basin，尤其在恢复状态没有好候选时。continual improvement 的增益则可能相当一部分来自数据效率和 curriculum：系统把更多交互预算集中在当前 policy 会失败的边界状态，而不是反复从初始分布 reset。需要直说的是，FAR 的“learning from failure”并不等价于理解 failure cause；它更像用 critic 和偏好损失做局部动作分布修补。

Relation To Prior Work

FAR 最接近三条线：retry-based recovery、test-time adaptation、offline-to-online RL。相对 Bellman-Guided Retrials，它的实质差异是从非参数 action selection 变成参数化 policy update；失败信息不只是用于本次采样规避，而是写入 policy。相对 DAgger / human correction，它用自生成 contrastive pairs 替代人工纠正，牺牲了监督准确性但提升自治性。相对 IQL / AWR 式 offline-to-online，它没有把 test-time retry 直接当 RL fine-tuning，而是用 preference adaptation 做更轻量的局部更新。看似新的部分其实重组了 IQL critic、DPO / diffusion-DPO、action noise exploration 和 online replay；实质创新在于把这些组件组织成 failure-aware retry 的闭环，并把 failed action chunk 显式作为 negative preference。它属于“部署期交互反馈驱动的局部 policy repair”谱系，而不是 full-stack autonomous planning。

Dataset / Evaluation

评估覆盖三个仿真基准、九个视觉操作任务和三个 xArm 真机任务，范围比单一 toy benchmark 更可信；真机结果也说明方法不只是 simulator artifact。实验确实支持核心 claim 的一部分：在允许非 reset retry 的设置下，FAR 比 naive retry 和非参数 retry 更能利用失败信息；在 continual learning 中，恢复轨迹作为训练数据提升 reset / timestep efficiency。不过 benchmark 主要仍是单任务、短到中等 horizon 的 manipulation，且初始 policy、critic、reward 标注和任务成功检测都比较受控。评估没有充分证明跨任务泛化，也没有证明在严重不可逆失败、语义多阶段任务、开放环境或 VLA 级 policy 上仍成立。增益是否来自 FCPA 本身，还是来自更多 test-time compute、扰动探索、retry 次数和在线数据集中采样，虽然有消融但仍未完全拆清。

Limitation

FAR 的前提非常强：失败后环境必须仍可恢复，机器人能 reset 到 start pose，任务 outcome 可判定，critic 在失败状态附近不能完全失真，且当前 policy 分布附近存在可行替代动作。如果失败是不可逆的，比如物体掉落到不可达区域，或者需要先做语义诊断再决定恢复阶段，FAR 的局部 action repair 很可能不够。文中未充分说明 OOD critic 的可靠性；IQL 的保守性只能缓解 overestimation，不能保证 failure attribution 正确。方法还依赖动作空间局部连续性：L2 距离过滤在低维末端控制中合理，但迁移到高维 VLA token/action space 时未必成立。continual improvement 的结果也可能主要来自把数据采集集中到 hard cases 的 curriculum 效应，而不是 preference objective 的独有优势。所谓 autonomously learn from failure 更准确地说是局部分布重加权和数据覆盖扩展，不是形成长期因果模型或 planner。

Takeaway

• 最值得记住的不是具体公式，而是把失败转成 pairwise preference 的建模方式：在部署期，失败比成功更常见也更信息密集，但必须局部化、相对化后才适合作为监督。
• 第二，retry 不应只是 evaluation trick；如果设计得当，它可以成为 online data collection 的 curriculum，把交互预算集中在能力边界。
• 第三，对 generative policies 来说，test-time adaptation 的有效形式可能不是完整 RL，而是少步 preference reshaping 加轻量探索。
• 第四，未来真正值得做的是把这种 failure-contrastive signal 接到更强的 failure detection、stage-level memory 和 VLA policy 上，同时解决 critic OOD 与多任务干扰。

一句话总结

FAR 是一类把机器人部署失败转化为 test-time preference data 的局部 policy repair 方法，真正贡献在于用 failure-contrastive adaptation 让 retry 从非参数规避演化为可累积的分布重塑。