精读笔记

Problem Setting

《Ambient Diffusion Policy: Imitation Learning from Suboptimal Data in Robotics》（arXiv / 2026）关注的不是标准 imitation learning，而是更贴近实际机器人训练的 mixed-quality data regime：少量目标任务高质量数据 p，加上大量质量较低、分布偏移或任务不完全匹配的数据 q。真正困难在于 q 不是纯噪声，也不是纯负样本；它通常包含某些可迁移成分，比如覆盖更广的状态空间、相似的 high-level plan、可复用的 grasp primitive，同时也携带错误的局部控制、错误接触动力学或错误任务逻辑。

以往路线卡在二分法：filtering 假设坏数据整体无用，浪费覆盖；co-training/re-weighting 假设坏数据整体可按比例使用，但 diffusion policy 最终会学习 mixture distribution，本质上会把 q 的偏差写进策略。关键矛盾是：机器人数据的“有用性”不是按样本整体定义的，而是按行为尺度/频率/生成阶段定义的。论文的贡献就是把这个矛盾投影到 diffusion timestep 上处理。

Motivation

已有 co-training 在机器人里通常把数据源作为最小控制单元：某个 dataset 采样权重大一点或小一点。这个粒度太粗，因为同一条 suboptimal trajectory 可能在全局意图上和专家一致，但在局部平滑性上很差；也可能局部抓取动作很有用，但任务逻辑完全相反。仅靠 dataset weight 无法区分这些结构。

作者的核心观察是机器人 action trajectory 普遍呈现 spectral power law：能量集中在低频，高频能量衰减。这使 diffusion 加噪不是任意破坏信号，而更像按频率逐步 mask：高噪声先保留低频/全局结构，低噪声负责恢复高频/局部细节。这个观察给 Ambient Diffusion Omni 在机器人中的适用性提供了具体理由：如果不同类型的 suboptimality 落在不同频率/尺度上，就可以用 diffusion time 作为数据使用开关。

Core Idea

论文真正的核心不是提出新网络，也不是新的 imitation objective，而是把“数据是否有用”从静态样本属性改成 timestep-dependent property。高质量目标数据始终可用；suboptimal 数据只有在其与目标分布在当前噪声尺度下对齐时才可用。于是训练目标不再逼近 p 和 q 的混合分布，而是在不同 denoising regime 中选择性借用 q 的统计结构。

这引入了一个很强的 inductive bias：动作生成过程天然被看作 global-to-local hierarchy。高噪声阶段可从 q 学 global plan / state coverage；低噪声阶段可从 q 学 local primitive；中间阶段则是危险区，因为这里既可能已经暴露 q 的错误任务结构，又还没有退化到纯局部可复用模式。和 prior 的本质差异在于，prior 在 dataset axis 上做 weighting，这篇在 diffusion-time axis 上做 gating。这个差异很实质，因为它利用了 diffusion model 内部已有的多尺度分解，而不是额外学一个 domain-invariant representation。

Method

方法机制可以压缩成三点。

第一，标注 suboptimal data 的可用 diffusion 区间。t_min 表示需要多少噪声才能让 q_t 与 p_t 足够接近；超过 t_min 后，q 的有害局部/高频差异被噪声抹掉，可以安全用于学习共享低频结构。t_max 表示低噪声下局部 receptive field 内 p 与 q 是否一致；若一致，q 可用于学习局部 primitive。

第二，训练时只改 sampler。先采样 diffusion time，再从当前 time 允许的数据集合里采样样本。p 数据永远允许；q 数据只在 [0,t_max) 或 (t_min,T] 允许。这个变化的意义是把数据混合从全局权重变成条件采样分布 p(data | t)，从而改变每个 denoiser 子问题看到的数据分布。

第三，t_min 可以用二分类器估计：训练 classifier 区分 noisy action 来自 p_t 还是 q_t，当 q_t 样本被分类器判断为接近 p_t 时认为达到 contraction。这个标注方案有理论保证，但实践中仍有工程性成分。t_max 的自动估计更弱，文中在大规模实验里对 t_max 的选择较保守，且未充分证明其最优性。

Key Insight / Why It Works

最重要的 insight 是：Diffusion Policy 的 timestep 不是单纯的数值噪声参数，而是一个隐式行为尺度坐标。机器人动作的频谱幂律使得 denoising 过程近似按 low-frequency 到 high-frequency 组织行为：高噪声处理拓扑/计划/粗路径，低噪声处理接触、平滑、抓取等局部控制。这一结构让“坏数据中哪些部分有用”变得可操作。

高噪声使用 q 的原因是 contraction：加足够噪声后，p_t 和 q_t 的差异下降。论文进一步说明在频谱幂律和低频对齐条件下，收缩比一般 TV bound 更快，不依赖原始分布距离。这解释了为什么 noisy RRT / sim 数据可以贡献覆盖和全局结构，同时不必学习其局部粗糙性。

低噪声使用 q 的原因是 locality：低噪声 denoiser 的输出主要依赖时间邻域内的 noisy action。如果 p 和 q 共享局部 primitive，即便全局任务结构不同，也能安全借用 q。这一点在 block sorting 的反向逻辑实验里最干净：错误排序数据不能用于高层逻辑，但可用于提升 pick-and-place motion。

我认为核心贡献是这个 timestep-conditioned data gating，而不是 classifier 标注、Ambient loss 或具体实验 recipe。Ambient loss 看起来是辅助项，且论文自己也显示在 OXE 上没有显著差异；classifier 是让方法可扩展的工程接口，但不是本质。真正有效的是更好的 inductive bias + 更高效的数据覆盖利用，不是 test-time compute，也不是显式 reasoning。所谓 global planning 更可能是 diffusion 在低频动作流形上的 retrieval / interpolation，而不是形成了可组合的长期规划器。

Relation To Prior Work

最接近的谱系是 Ambient Diffusion Omni：用 corrupted / bad data 训练 clean generative model，并通过噪声水平控制坏数据的贡献。这篇的实质创新是把 Ambient 的思想落到 robot action diffusion 上，并用机器人动作频谱幂律与 locality 解释为什么该假设在机器人里尤其合理。

和 robotics 里的 dataset re-weighting / mixture optimization 相比，区别不是“权重更好”，而是权重从常数变成 timestep-dependent admissibility。co-training 仍然在学习 mixture policy；Ambient 试图让不同 denoiser 子问题学习不同来源的可共享统计量。这比简单 data curation 更细粒度。

和 robust imitation / noisy demonstration 方法相比，它不是识别并忽略坏样本，而是试图部分利用坏样本。和 domain adaptation / invariant representation 相比，它不需要显式学 domain-invariant latent，也不假设可描述 shift；它利用 diffusion noise 自带的 invariance。和 hierarchical policy / task-motion decomposition 相比，它没有手工分层，而是声称层级从 action spectrum 和 denoising dynamics 中自然涌现。这个说法有启发性，但目前更像经验规律加简化理论支撑，而不是完整机制证明。

Dataset / Evaluation

实验覆盖比较有针对性：噪声轨迹验证高噪声吸收覆盖、低噪声避免粗糙；sim-to-real proxy 验证分布 shift 下 q 的可用性；task mismatch 验证低噪声 locality；OXE 真机验证异质大数据场景下的 scaling。整体上，evaluation 是围绕核心 claim 设计的，而不是只堆 benchmark。

最强证据来自 controlled experiments，尤其 block sorting，因为它把 motion 和 logic 指标拆开，直接展示 timestep gating 如何隔离局部技能和全局任务错误。OXE 结果重要但归因更混杂：数据规模大、dataset weighting、classifier annotation、任务本身与 OXE 子集的 overlap 都可能影响结果。论文显示 Ambient 比 co-training 对 dataset re-weighting 不那么敏感，这是一个实用优势；但大规模真机实验 trial 数有限，且 table cleaning 存在 camera resolution bug，不能过度解读绝对性能。

总体来说，实验足以支持“noise-dependent data usage 是比普通 co-training 更稳的数据利用方式”，但还不足以证明它能处理任意 suboptimal data。它验证的是 action-space suboptimality 在多尺度上可分的情况。

Limitation

最大限制是隐含前提很强：p 和 q 必须在某些 diffusion scales 上对齐。如果 q 的错误同时存在于低频计划和高频控制，或者目标任务需要的关键信息恰好被加噪抹掉，那么 Ambient 只能少用甚至不用 q。方法不是万能 bad-data learner，而是一个 scale-selective data reuse 机制。

第二，observation-space shift 基本没有解决。很多真实 OXE / cross-embodiment 问题的主要差异可能在视觉、语言、相机、对象分布，而不是 action trajectory 的频谱。论文附录尝试 observation noising 和 classifier-free guidance，没有明显收益。这说明当前机制的主战场仍是 action-space。

第三，t_min/t_max 标注把问题部分转移了。分类器估计 t_min 有理论保证，但依赖 classifier calibration、样本粒度、threshold；t_max 更不成熟，大规模实验里几乎是手设。实际部署中，标注错误可能导致 q 在错误 timestep 注入偏差。

第四，理论和真实条件分布差距较大。stationary Gaussian、zero-mean、unconditional action model 与 image-conditioned multi-modal robot policy 相差很远。理论更像 sanity check：说明幂律可能导致 contraction/locality，而不是严格解释实际模型。

第五，所谓 global-to-local hierarchy 的证据主要来自动作轨迹频谱和分类/敏感度实验。它不等于策略具备符号规划或长期因果推理能力。更保守的解释是：diffusion 在不同噪声下恢复不同频率的动作统计，global planning 很可能是数据覆盖驱动的低频模式匹配。

Takeaway

• 1. 这篇最值得记住的是：在 diffusion policy 中，data mixture 不应只沿 dataset axis 设计，还应沿 timestep axis 设计。
• 这个视角比单纯调数据权重更细，也更符合动作生成的多尺度结构。
• 2. suboptimal data 的价值应按“在哪个行为尺度上对齐”来定义。
• 未来数据选择/数据质量评估如果仍然给整条 trajectory 一个 scalar score，可能过于粗糙。

一句话总结

Ambient Diffusion Policy 是把 Ambient Diffusion 的 noise-dependent data usage 引入机器人 Diffusion Policy 的一篇机制型工作，核心贡献不是新模型，而是利用动作频谱诱导的 global-to-local 结构，把 suboptimal data 从“按数据源加权”推进到“按 diffusion timestep 选择性复用”。