精读笔记

Problem Setting

《Guided Discovery of New Behaviors using Diffusion Policies》（arXiv preprint / 2026-06-09）处理的是 diffusion policy 在少示范、强多模态机器人任务中的“低概率可行行为发现”问题。它不是在问 diffusion policy 能否拟合 multimodal demonstrations，而是在问：当 demonstrations 本身偏向少数主模态时，如何从已训练 policy 的边界区域挖出未被显式示范覆盖、但仍能完成任务的行为。

真正困难点在于 rare behavior discovery 不是简单增加采样温度或加大 exploration noise。机器人动作分布的低密度区大部分是不可执行、碰撞、失效或动力学不连续的；而高密度区又只是重复示范主模态。因此关键矛盾是：要离开主模态，但不能离开到不可修复的 OOD 区域。

以前路线的瓶颈很明确：guided diffusion 可以把样本推到目标属性更强的区域，但容易违反 policy support；RL fine-tuning 通常优化已有策略 basin 的 reward，尤其在 reward-equivalent 多解任务中没有动力去发现另一个等价解；synthetic demo / DAgger 类方法则通常依赖外部结构、专家修正或场景重组，而不是从当前 generative policy 自身的低支持边界挖行为。

Motivation

作者的核心观察是：低数据 diffusion policy 并非只包含训练集主模态。由于 score model 学到的是一个平滑的生成分布，它在主模态之间、边界附近可能存在一些低概率但结构化的轨迹草稿。这些草稿普通采样几乎不会出现，但也未必完全无效。

已有方法缺的是一个“rare-but-not-too-rare”的访问机制。单调 novelty / guidance 会把样本越推越远，得到 OOD；reward-based RL 又不会主动访问低概率等价解。GDNB 的动机可以理解为：把 rare behavior discovery 表述成 rare-event sampling + local repair + dataset aggregation，而不是 policy optimization。

这个 framing 很重要：它绕开了 sparse reward exploration 的一部分难题，把探索压力集中在 sampler 侧，把可行性判断交给 simulator/optimizer，把长期 policy 改变交给 imitation fine-tuning。换句话说，它不是让 policy 自己学会探索，而是用外部闭环把 policy 的支持集逐轮扩张。

Core Idea

论文真正核心的方法思想是：从 diffusion policy 的低支持边界采样“frontier trajectories”，而不是直接追求更高 reward 或更大 diversity。frontier 的定义不是 evaluation-side 的 task novelty，而是 sampler-side 的 denoiser score energy：score norm 小通常对应高密度/稳定区域，score norm 大对应模型仍在强烈 denoise 的低支持区域。GDNB 通过 rare-shell potential 把样本吸引到一个目标 score-energy 壳层，而不是无上限地推向更大 score norm。

这个壳层思想是关键 inductive bias。它把“稀有性”从单调目标变成带边界的目标：太 common 不要，太 OOD 也不要。然后 Feynman–Kac corrector 用粒子权重修正 guided sampler 的偏差，SBTO 把 rare draft 局部投影到成功轨迹集合，fine-tuning 把这些 repaired trajectories 变成新 policy support。

与 prior 的本质区别在于，GDNB 不是在执行期优化一个 cost-guided diffusion planner，也不是用 RL 提升单一策略回报，而是把生成模型作为可挖掘的 proposal distribution，并通过“采样—修复—回灌”形成数据覆盖扩张。它引入的新信息流是：policy low-support proposal → simulator repair/acceptance → demonstration memory update → policy support expansion。

Method

1. Rare-shell guidance 解决“探索方向”问题。作者没有直接最大化 novelty，而是用 whitened denoiser-score energy 构造一个目标稀有壳层。Lennard-Jones-like potential 在目标壳层附近有吸引力，在过低能量区排斥 common samples，在过高能量区避免继续外推。这一步的核心变化是把 rare sampling 从 one-sided tail chasing 变成 bounded frontier targeting。

2. Feynman–Kac corrector 解决“guided diffusion 偏采样”问题。标准 guidance 直接改 score，理论上并不正确采样 tilted distribution，容易把样本推到低支持区域。FKC 用粒子权重和重采样补偿 proposal drift 的改变。这里最重要的不是公式本身，而是它给 rare guidance 加了一个重要性采样解释，使采样更像 controlled rare-event proposal，而不是 heuristic gradient push。

3. SBTO repair 解决“低支持样本不可执行”问题。rare sampler 只负责提出草稿，不保证动力学和任务成功；SBTO 在局部 trust region 内修正动作序列，尽量保留 rare draft 的行为特征，同时满足成功条件。这一步是方法成立的实际安全阀：没有它，rare samples 很容易只是不可用 perturbations。

4. Dataset bootstrapping 解决“发现后如何固化”问题。成功 repair 的轨迹被加入数据集并 fine-tune diffusion policy。这里的机制本质是 targeted data aggregation：把一次性 test-time compute 发现的边界样本变成模型的常规支持。相比 RL update，它更像用生成模型主动产生 hard examples，再通过 imitation 扩张 memory。

Key Insight / Why It Works

这篇最重要的 insight 是：在低数据 diffusion policy 中，低概率区域并不全是垃圾；其中存在一层“可修复边界”。GDNB 的有效性来自找到这层边界，而不是来自更强的 planner 或更复杂的 policy architecture。

我认为核心贡献排序大致是：rare-shell frontier targeting > repair-and-reinsert bootstrapping > FKC correction。FKC 提供 principled sampling 说法并改善稳定性，但真正让系统工作的可能是 bounded rarity + SBTO acceptance + data aggregation。换句话说，方法本质上是 test-time compute + simulator-based data expansion，而不是 policy 自主探索能力的根本突破。

SBTO 的作用被论文表述为 repair，但它实际上承担了隐藏监督：它利用环境 reward/success 和 simulator dynamics，把低质量 rare drafts 转成可训练 demonstrations。因此最终 policy 学到的新行为，有相当部分来自 optimizer 对 draft 的局部投影，而不完全来自 diffusion model 自身“发现”。如果 repair 改动很大，则所谓 rare mining 的归因会变弱；文中虽强调 frontier-preserving，但没有充分量化 repair 前后行为 descriptor 的保持程度。

score-energy 作为 rarity proxy 是合理但有风险的。score norm 大可以表示低密度，也可以表示模型误差、噪声尺度不匹配、条件输入异常或 denoiser calibration artifact。作者通过 whitening、per-state calibration、DTM evaluation 和 OOD-last ranking 缓解了问题，但这说明方法依赖大量校准工程。这里有一部分增益可能主要来自 carefully engineered filtering/ranking，而不是 FKC 理论本身。

从机制上看，GDNB 属于 curriculum/data-coverage 方法：每轮挑当前 policy 不擅长但还可修的边界样本，让 policy 把边界吸收为新支持，再继续往外挖。这种模式比纯 RL 更适合 reward-equivalent 多解，因为不需要 novelty reward 也能扩展覆盖；但它并不自动解决需要长程因果推理或完全未见组合结构的任务。

Relation To Prior Work

最接近的谱系有三条：guided diffusion / rare-event diffusion sampling、post-BC policy improvement、synthetic demonstration / dataset aggregation。GDNB 的新意在于把这三者接起来用于 behavior discovery，而不是单独优化 sampler fidelity、reward 或数据规模。

相对 standard guidance，GDNB 的不同点是 bounded rare shell 和 FKC correction。普通 guidance 往目标属性单调推进，容易出 support；GDNB 明确寻找 frontier band，并用 OOD-last 策略避免过远样本。这是实质差异。

相对 DPPO、DIME、DSRL、SOE 等 post-BC improvement，GDNB 不把探索主要放在 policy gradient 或 latent action perturbation 上，而是把探索变成 rare candidate mining，再由 repair 模块筛选。它不依赖显式 novelty reward，这一点对 reward-equivalent modes 很关键。

相对 MimicGen / DAgger，它不是从外部专家或手工 subtask transform 扩数据，而是从当前 policy 的低支持区域提案。但最终仍是 dataset aggregation，所以从高层看并非全新范式，而是“生成式 proposal + 局部优化修复 + 自训练”的组合。

真正新增的信息主要是 sampler-side rarity signal 和 frontier shell bias；其余部分——trajectory optimization 修复、成功过滤、rehearsal fine-tuning——更像把已有 robotics engineering 组织成一个有效闭环。

Dataset / Evaluation

评估覆盖了多个 manipulation benchmark，包含 planar pushing、grasping、insertion、bimanual transport、tool hanging、kitchen subtask sequence 等，任务类型足够多，能支持“不是单任务 trick”的基本 claim。toy multimodal agent 很适合验证 mode recovery，因为两个动作模态 reward 等价，能暴露 RL fine-tuning 只留在原模态的问题。

真实世界部分有价值但证据有限：它是 selected trajectories 的 open-loop replay，并通过 IK 和几何校准适配真机。这说明部分发现行为物理可执行，但不能证明闭环 policy 在真实环境中鲁棒，也不能证明 rare discovery 可直接 sim-to-real 泛化。

评价指标设计偏后验。Task Feature KDE 和 Task Rareness KDE 能体现分布扩张，但 event axes 是人工定义的 task descriptors。它们比普通 success rate 更贴近 claim，但仍可能带 evaluation bias：如果 descriptor 选得贴合可视化 rare cases，会放大方法优势。文中说明这些 axes 不用于训练，这是必要的；但它们是否完整覆盖“新行为”仍未充分说明。

消融支持 rare sampler 和 SBTO 都必要，但没有完全拆开 FKC、LJ shell、hard frontier ranking、score whitening、per-start calibration 的贡献。尤其 Table 1 中 GDNB 的 OOD 为零部分来自 OOD-last ordering，不能完全归功于 sampler dynamics。

Limitation

最核心限制是初始 policy 必须已经在低概率区域隐含可修复草稿。如果某行为模式需要完全不同的接触序列、对象中间状态或长程规划，而初始数据没有任何局部 support，GDNB 大概率发现不了。它更像 support boundary expansion，而不是 open-ended discovery。

第二，方法把探索难题转移给 simulator 和 SBTO。SBTO 需要可查询 reward/success、可大量 rollout、任务相关 repair objective 和合适 trust region。真实机器人在线使用时，这个成本和安全性都很难接受。论文的真机结果是 replay，不是在线 rare mining。

第三，scalability 存疑。每轮需要 base calibration、rare particle sampling、trajectory optimization、数据筛选、fine-tuning；多轮后数据集膨胀、模式冲突、遗忘和 saturation 都没有系统解决。作者也承认长期行为未充分刻画。

第四，泛化不是强项。GDNB 主要展示在同一 benchmark/reset distribution 下扩展行为覆盖；它没有证明新行为能迁移到明显不同 objects、layouts、dynamics 或 unseen task goals。所谓 discovery 可能主要是 benchmark 内已有隐含模式的 retrieval + repair。

第五，增益归因不清。可能主要来自 scaling / data：多采样、多 rollout、多优化、多加入数据，任何强过滤的数据聚合方法都会提升覆盖。论文需要更严格控制 compute budget 和 repair strength，才能证明 rare-event FKC 是不可替代的核心。

Takeaway

• 1. 对 diffusion policy，低概率区域不应简单视为噪声；更有用的目标是 low-support frontier，而不是 arbitrary diversity。
• 2. 行为发现可以被重构为“proposal distribution mining + local feasibility projection + imitation absorption”，这比直接 RL fine-tuning 更适合 reward-equivalent 多模态任务。
• 3. Bounded rarity 是可迁移 insight：在任何生成模型探索问题中，单调 novelty 往往导致 OOD，壳层式目标更稳定。
• 4. 未来真正值得做的是自动化 frontier calibration、量化 repair 对原始 rare behavior 的保持程度、减少 simulator/SBTO 依赖，以及把 data aggregation 改成可持续的 continual support management。

一句话总结

GDNB 是一类“rare-event guided data bootstrapping”方法：它把 diffusion policy 从被动模仿器改造成低支持行为草稿生成器，并通过局部修复与回灌训练扩张可执行行为支持。