Awesome World Models / OpenReview

Steering Diffusion Policies with Value-Guided Denoising

作者：作者信息待提取 · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：5. World Models x VLAs / Combining World Models and VLAs

具身智能视觉语言动作/策略学习视频生成

精读笔记

Problem Setting

《Steering Diffusion Policies with Value-Guided Denoising》（Awesome World Models / 2025）关注的是 diffusion-based BC policy 的在线适应问题：已有 policy 已经通过 demonstrations 学到一个动作生成先验，但在新环境、轻微分布偏移或长时序误差累积下性能不足。论文真正要解决的不是“如何训练 diffusion policy”，而是“如何在不改 policy 权重的情况下，把 deployment-time reward 信号注入一个 frozen diffusion action generator”。

真正困难点在 reward-to-action 的接口。BC diffusion policy 的优势是动作分布强、多模态、靠近 demonstration manifold；但它的弱点也是这个分布——训练数据覆盖不到的状态或动作模式很难自动修正。已有 fine-tuning 路线把 RL 信号灌进 denoiser 参数，样本效率和稳定性都差；reranking / rejection / latent-space RL 又通常只能在已经采出来的候选内挑选，改变分布的能力有限；residual RL 更像末端控制误差修补，对较大 mode shift 不一定够。核心矛盾是：既要保留 diffusion prior 的安全性，又要让 reward 有能力在生成过程中产生实质偏移。

Motivation

作者的动机来自对 DDIM sampling 结构的再解释：每一步 denoising 并不是黑箱地从噪声跳到动作，而是显式构造了一个 predicted clean action \hat{x}_0，再和 noise direction 组合得到下一步 latent。这个 \hat{x}_0 是一个很自然但此前在 robot RL adaptation 中没有被充分利用的接口：它比 noisy latent 更有动作语义，也比最终 action 更早、更频繁地可被干预。

已有路线缺的是一个“可微、动作语义明确、无需更新 policy、又不只是事后选择”的 reward 注入点。VGD 的方向正是填这个缺口：让 critic 不负责生成动作，只负责在 diffusion policy 暴露出的 clean-action target 上给局部改进方向。这个思路明显借鉴 classifier guidance，但把 classifier gradient 换成 Q-gradient，把图像语义对齐换成动作价值提升。

Core Idea

VGD 的核心思想很简单：把 frozen diffusion policy 当作一个带强先验的 action decoder，把 learned critic 当作一个外部 steering signal；在每个 DDIM step 中，先根据 denoiser 得到当前 predicted clean action \hat{x}_0，然后沿 \nabla_a Q(s,a) 对它做小步移动，再把移动后的 \hat{x}'_0 塞回 DDIM 更新公式继续去噪。

它改变的不是 policy 的参数，而是 sampling trajectory。相比 fine-tuning，它避免了高维 denoiser 参数空间中的不稳定优化；相比 candidate reranking，它不是等动作采完再选，而是在每个去噪阶段连续地改变生成路径；相比 residual policy，它的修正发生在 diffusion manifold 内部，而不是在最终 action 外面加一个补丁。这个设计引入的 inductive bias 是：正确动作可以通过 pretrained policy 附近的局部 value ascent 找到，而不需要从零学 actor。

Method

方法机制可以压缩为三件事。

第一，steering target 选 \hat{x}_0，而不是 x_τ。中间 latent 混合了 Gaussian noise 和动作结构，critic 在这种空间上没有可靠语义；\hat{x}_0 则是当前 diffusion step 对最终 action 的估计，更接近 Q(s,a) 的定义域。这一步解决的是 value function 和 diffusion latent 表示不对齐的问题。

第二，在每个有效 denoising step 做 \hat{x}'_0 = \hat{x}_0 + λ∇_a Q(s,a)。这相当于在 diffusion prior 附近做局部贪心 policy improvement。λ 的作用不是核心创新，只是控制 reward guidance 和 BC prior 的 trade-off；过大就会把动作推到 critic 幻觉区域，过小则退化成 frozen policy。

第三，只训练 critic。在线交互产生 replay，critic 用 TD target 学 Q；采样 action 时用当前 critic 的梯度 steer diffusion。这个重写很关键：policy adaptation 被转化为 critic learning + inference-time optimization，而不是 actor / denoiser learning。方法上的稳定性主要来自 frozen prior，而不是 TD learning 本身有多强。

Key Insight / Why It Works

这篇最重要的 insight 是：diffusion policy 的 denoising target 本身就是一个可操作的 action-space interface。过去很多 RL-with-diffusion 方法要么把 diffusion model 当 actor 来训练，要么在采样结果层面做选择，没有充分利用 DDIM 过程中 repeatedly exposed 的 predicted clean action。VGD 正是利用这个结构性接口，把 reward gradient 插入生成过程的“半成品动作”上。

它有效的主要原因不是 critic 特别强，而是三种 bias 的组合：1）diffusion prior 限制 action 不至于离 demonstration manifold 太远；2）Q-gradient 提供局部任务偏好，修正 BC policy 的具体失误；3）多步 denoising 提供 test-time compute，使一次 action sampling 内有多次小幅 policy improvement。这里的关键能力更像 test-time optimization over a pretrained action prior，而不是学到了新的长期策略。

最可能是核心贡献的是“对 \hat{x}_0 做 value guidance”这个接口选择。critic training、λ annealing、跳过早期 denoising steps、double-Q 等都更像稳定化 engineering。尤其跳过早期 steps 的设定说明作者也承认初始 \hat{x}_0 不在有效动作分布附近；这进一步支持核心不是泛化推理，而是找到一个 critic gradient 可用的 representation slice。

需要警惕的是，Q-gradient guidance 的可靠性强依赖 critic 的局部平滑和 calibrated gradient。在 sparse reward、低覆盖 replay 或高维视觉输入下，critic 很容易给出错误方向。VGD 的成功可能相当程度来自 Robomimic 低维状态、已有 strong pretrained policy、以及任务成功 reward 足以 bootstrap critic。换句话说，它不是解决 exploration 的通用方案，而是在一个较好 prior 附近做高效 exploitation。

Relation To Prior Work

这条工作最接近 guided diffusion、diffusion policy RL adaptation 和 test-time policy steering 三条谱系。与 classifier guidance 的关系最直接：都是在 denoising 过程中注入外部梯度，只是这里外部模型不是 classifier，而是 Q-function；优化目标也不是条件似然或语义匹配，而是 expected return。

相对 DPPO / DIPO / QSM 这类更新 diffusion policy 权重的方法，VGD 的本质差异是完全不把 denoiser 当可训练 actor。它牺牲了长期分布重塑能力，换来部署时稳定性和低样本更新成本。相对 IDQL、V-GPS 或 reranking 类方法，VGD 不只是重新加权已生成动作，而是在生成路径内部改变 denoising target，因此理论上能产生候选集外的连续偏移。相对 DSRL 的 latent-space steering，VGD 选择的是更接近动作语义的 \hat{x}_0 空间，因此 critic 更容易发挥作用。

看似新颖的部分其实是已有思想重组：value-guided sampling、classifier guidance、frozen generative prior、critic-based action improvement 都不是新概念。实质创新在于把这些组合到 diffusion policy 的 predicted-clean-action interface 上，并证明这个接口在机器人动作生成里比参数 fine-tuning 或输出 reranking 更合适。

Dataset / Evaluation

实验主要在 Robomimic 的 Can、Lift、Square、Transport 上进行，且使用低维 proprioceptive / object state，而不是高维图像输入或真实机器人。任务能覆盖一定 manipulation 难度，Transport 也引入双臂复杂性，但整体仍是标准模拟 benchmark，不能充分代表 VLA / embodied foundation model deployment 的复杂分布偏移。

这些实验能支持一个较窄但重要的结论：在已有 pretrained diffusion policy reasonably good、状态表示低维且 critic 可学的场景下，inference-time value guidance 比直接 fine-tuning diffusion policy 更样本高效、更稳定。它不能充分支持论文中更外推的说法，例如对 GR00T / π0 / Octo 等大规模 VLA action head 的广泛适用性。文中未展示真实世界、视觉输入、跨场景泛化、多任务共享 critic 或语言条件任务，因此“black-box deployment adaptation”的 claim 目前更像方向性推断，而不是实验证实。

另一个评估上的问题是增益归因不够干净。不同任务使用不同来源的 pretrained checkpoints，部分 base policy 来自已有 fine-tuned 模型；这可能影响 VGD 的 bootstrap 难度。文中没有充分拆解：提升来自 critic guidance、来自 stronger base prior、来自更多 test-time compute，还是来自低维 Robomimic 的可学习性。

Limitation

VGD 的核心前提是高价值动作位于 pretrained diffusion policy 的局部邻域内。如果任务需要跳出 demonstration manifold、探索全新策略、或做大跨度 temporal planning，单纯沿 Q-gradient nudging \hat{x}_0 很可能不够。它更像 local policy improvement，不是 global policy search。

第二个限制是 critic gradient 本身。Q-learning 已经有 overestimation 和 distribution shift 问题；VGD 进一步把 Q 的数值误差放大成动作梯度误差。尤其当 \hat{x}_0 被推到 replay buffer 覆盖不足区域时，critic 可能产生高价值幻觉。论文使用 double-Q、target network、λ 小步等工程手段缓解，但没有从机制上解决。

第三，scalability 上限不清楚。每个环境步要多次 denoising，每次还要对 critic 求梯度，test-time compute 增加明显。对于高频控制或大模型 VLA，这个成本可能不可忽略。作者提到可用 VGD 生成数据再蒸馏回 policy，这反而暗示在线 steering 更适合作为数据改进工具，而未必是最终部署形态。

第四，它没有显式 world model 或长期状态预测。所谓 adaptation 主要发生在当前 state-action Q landscape 上，并不形成长期规划能力。若任务需要跨阶段 subgoal reasoning，VGD 只能依赖 critic 已经把长期 return 压缩进局部 action gradient；这在 sparse reward 和复杂视觉环境中很难保证。

Takeaway

  • 1. 最值得迁移的 insight 是：不要急着 fine-tune diffusion policy；先找 diffusion sampling 过程中最接近下游控制语义的中间变量。
  • 这里的 \hat{x}_0 是一个很好的 value injection point。
  • 2. VGD 代表一种更一般的路线：foundation policy as frozen prior + small learned evaluator + test-time steering。
  • 未来很多 VLA adaptation 可能会先走这条路，而不是直接 RL fine-tune 巨型 action head。

一句话总结

这篇论文把 diffusion policy adaptation 从“更新生成模型参数”改写为“在 DDIM predicted-action target 上做 value-guided test-time steering”，是 guided diffusion 思想在机器人 policy deployment 中一次简洁但有实际意义的迁移。