精读笔记

Problem Setting

ReGuide 面向的是 behavior-cloned diffusion policy 在长时程 manipulation 中的分布外闭环失稳问题。真正困难点在于：训练 demonstrations 只覆盖 expert manifold，而 policy 部署时最需要的是偏离 manifold 后的恢复动作；这类数据既不是原始 BC loss 能学到的，也不是单纯提高 generative expressivity 能解决的。

以前方法的瓶颈很清楚：DAgger 类方法拿到了正确问题但代价是专家在线介入；augmentation 类方法便宜但需要强任务假设；LPB / DynaGuide 类 test-time guidance 能在执行时纠偏，却没有改变 policy 的数据分布。关键矛盾是：纠偏行为在执行中自然出现，但已有 test-time 方法没有把它变成可复用监督。

Motivation

作者的出发点不是“设计更好的 diffusion guidance”，而是指出 guided rollout 本身是一种被浪费的 on-policy recovery data。一次成功 guided rollout 同时包含两类信息：policy 容易 drift 到哪里，以及哪些 action chunk 能把系统拉回可完成任务的轨道。这正是 demonstrations 缺失、DAgger 昂贵、synthetic augmentation 难以可靠构造的信息。

因此关键缺口是数据循环，而不是单次推理效果。PCG 的 role 也应这样理解：它不是为了把 test-time success 拉到最高，而是为了让被收集的数据足够干净，避免 self-training 被错误 guidance 污染。

Core Idea

论文的核心思想是把 test-time guidance 从“临时控制器”变成“自举数据生成器”。原始 diffusion policy 负责提供 action prior，dynamics-gradient guidance 负责在偏离但可恢复区域施加局部纠偏，trajectory-level success filter 负责筛掉失败样本，最后 policy update 把这些 recovery trajectories 写回模型参数。这个闭环把一次性 compute 转换成持久的 data coverage。

本质区别在于信息是否累积。LPB / DynaGuide 的 guidance 每次 episode 结束后归零；ReGuide 把成功纠偏轨迹变成下一轮训练分布的一部分。这引入了一个很强的 inductive bias：policy 不需要显式规划所有恢复策略，只需要反复吸收由 guided execution 发现的 recoverable states。它更像 success-filtered self-training / DAgger-lite，而不是单纯的 inference-time control。

Method

方法中真正关键的是三个机制，而不是 FT / FS 的训练 recipe。

第一，phase-aware targets 解决的是 long-horizon task 中“expert manifold 不是一个全局集合”的问题。不同阶段的视觉状态可能相似，但语义上应被拉向完全不同的未来；用 phase-local target set 等于把 in-distribution 判断局部化，避免 global latent barrier 把 rollout 拉错阶段。

第二，two-threshold gate 解决的是 dynamics gradient 可信区间问题。靠近 demonstration manifold 时不需要 guidance，否则会扰动本来正确的动作；远离 manifold 时 dynamics model 在外推，gradient 不可信。只在中间区间启用 guidance，是整篇论文里最重要的 reliability control。

第三，clean-action guidance 解决的是 representation / model input alignment。dynamics model 训练在 clean action chunks 上，如果对 noisy denoising iterate 反传，梯度语义会错位。通过 estimated clean action 做 MPGD-style guidance，本质上是在让 guidance objective 落在 world model 的训练分布上。

ReGuide-FT 和 ReGuide-FS 只是两种把数据吸收到 policy 的方式：FT 更像 rehearsal-based continual update，FS 更像在 augmented dataset 上重新寻找解。它们的区别主要是 compute / optimization tradeoff，不是核心算法创新。

Key Insight / Why It Works

这篇最重要的 insight 是：test-time guidance 的最大价值可能不在 test time，而在它暴露了 policy 的 failure boundary。成功 guided rollout 是一种高密度 recovery supervision，比随机 rollout 或 demonstration replay 更接近 covariate shift 的真实缺口。

我认为核心贡献排序是：第一，guided rollout reuse；第二，drifted-but-recoverable gating；第三，phase-local target；第四，clean-action gradient。FT / FS 组合属于有效但偏工程的吸收策略。

方法有效的主要原因更像 data coverage + memory reuse，而不是更强 reasoning。ReGuide 并没有让 policy 学会显式长期规划；它把被 guidance 找到的 recovery trajectories 记进模型，使以后相似 drift 状态下不再依赖同等强度的 test-time correction。所谓 self-improvement 本质上是 success-filtered on-policy data aggregation。

phase structure 提供的是 better inductive bias：把 latent manifold 按任务进度分块，降低全局 nearest-expert guidance 的歧义。two-threshold gate 则是防止 self-training 崩坏的关键，因为错误 recovery data 一旦进入 buffer，会比普通 BC 噪声更危险。

需要注意，增益仍可能主要来自 scaling / data：额外 rollouts、success filtering、rehearsal mixture 都会扩大有效训练集。matched-data ablation 说明 guidance data 优于 unguided data，但没有完全分离 phase target、success filter、world-model gradient、policy retraining 各自贡献。

Relation To Prior Work

ReGuide 最接近三条谱系的交叉：diffusion policy test-time guidance、DAgger-style data aggregation、self-training with filtering。它不是纯粹的新 policy architecture，也不是新的 imitation objective。

和 LPB / DynaGuide 的本质差异是 guided trajectories 是否进入训练分布。LPB 把 latent expert set 当 inference-time barrier；ReGuide 把 barrier 变成 recovery data generator。PCG 相对 LPB 的新增信息在于 phase-localization、upper-threshold gating 和 clean-action guidance，其中 upper-threshold gating 是最有实质性的 reliability 改动。

和 DAgger 的差异是监督来源：DAgger 在 learner-visited state 上问专家，ReGuide 用 dynamics-guided execution + trajectory success signal 近似产生 corrective labels。它弱化了专家依赖，但也把问题转移到 dynamics model 与 success filter 的可靠性上。

和 CCIL / augmentation 类方法相比，ReGuide 不预先假设哪些 perturbation preserve correctness，而是在当前 policy 的实际 drift distribution 上采样恢复数据。这一点更 scalable，但也更依赖 base policy 能进入 recoverable basin。

Dataset / Evaluation

实验覆盖 Robomimic 的 Can、Square、Transport、Tool Hang，都是模拟 manipulation benchmark，且设置为低 demonstration regime。这个设置非常适合验证论文 claim：BC diffusion policy 会 drift，而 guided recovery data 应该能补 covariate shift 缺口。

评价最支持核心 claim 的不是主表提升，而是 matched rollout ablation 和第二轮 self-improvement：前者说明不是简单加数据，后者说明闭环不是一次性 trick。但证据边界也很明显：没有真实机器人，没有跨 domain / cross-task transfer，没有大规模 training seed study，也没有展示 phase construction 在更复杂任务拓扑下是否稳定。

PCG test-time-only 的提升相对有限，这反而符合论文主张：PCG 的主要价值不是单次执行最优，而是生成更可训练的数据。若只看 test-time guidance，它相对 prior 的优势并不大；完整 ReGuide 的收益来自数据闭环。

Limitation

最核心限制是 ReGuide 把 covariate shift 问题部分转移给了 latent dynamics model 和 phase-distance calibration。若 latent space 距离不能稳定表达任务进度，或 dynamics gradient 在偏离区域不可靠，guided data 会变成带偏监督。

第二，方法依赖 recoverable basin。base policy 太差时，guided rollout 成功率低，self-training 数据稀缺；base policy 太强时，新增 recovery data 边际价值下降。这解释了迭代收益递减，也说明它不是无界 self-improvement。

第三，success filtering 是弱监督但不是无监督。真实 deployment 中成功信号可能来自人工、classifier 或稀疏 reward；这些信号的噪声会直接影响 buffer 质量。文中未充分说明 noisy success signal 下的鲁棒性。

第四，phase construction 和 thresholds 是 task-calibrated。论文把它包装成 phase-conditioned guidance，但在更开放任务中，phase 数量、阶段顺序、多分支进度、循环行为都可能让这套机制失效。

第五，所谓泛化主要是对同一 benchmark 初始状态分布下的 recovery coverage 泛化，不是跨物体、跨视觉域、跨任务的泛化。核心能力可能主要来自数据覆盖，而非学到了可迁移的长期策略结构。

Takeaway

• 1. Test-time guidance 不应只被看作 inference trick；在机器人 imitation 中，它更有价值的角色可能是自动发现 recovery data。
• 2. 对 self-generated data，最重要的不是生成更多，而是控制进入 buffer 的数据分布：phase-local target、recoverability gate、success filter 都是在做数据质量控制。
• 3. 长时程 manipulation 中，全局 expert manifold 往往是错误抽象；按 task phase 局部定义 in-distribution，比单一 latent barrier 更合理。
• 4. 未来更值得做的是 adaptive world model / uncertainty-aware guidance / diversity-aware rollout selection，而不是继续堆 FT vs FS 的训练 recipe。

一句话总结

ReGuide 是把 diffusion-policy test-time guidance 升级为 success-filtered on-policy data aggregation 的方法，真正贡献在于把一次性纠偏 compute 转化为可迭代吸收的 recovery coverage。