精读笔记

Problem Setting

这篇论文实际处理的是 inference-time conditional diffusion guidance 的一个老问题：如何在不训练、不 fine-tune diffusion backbone 的情况下，用外部 differentiable objective 改变生成结果，同时不破坏 diffusion sampler 自己假设的中间 latent 分布。真正困难点不是“怎么求一个条件 loss 的梯度”，而是这个梯度被注入到 reverse chain 后会改变每一步 transition 的统计结构。DPS 类方法在欧氏空间里直接走 loss gradient，步长大则偏离模型分布，步长小则控制不足；MPGD/DSG/ADMMDiff 都试图加约束，但约束要么来自额外 projector，要么是启发式球面，要么计算很重。关键矛盾是：condition alignment 需要移动 latent，而 sample quality 要求 latent 仍落在模型训练时/采样时可解释的分布区域内。

Motivation

作者不满意已有路线的原因很明确：它们把 guidance 的几何看成外部设计，而不是从 diffusion transition 本身推出。DPS/FreeDoM 缺少分布约束；MPGD 把“数据流形”交给 VAE encoder 近似，额外假设太强；DSG 虽然也用球面，但半径固定为 √nσ，容易退化成只在固定壳层上做方向插值，没有完整保留 Gaussian 的 radial randomness；ADMMDiff 有优化形式但计算和超参负担较重。作者的核心观察是 DDIM 每一步 transition 本来就是 isotropic Gaussian，因此它天然诱导 polar geometry：半径和方向独立。缺口是 prior guidance 没有利用这个分解来定义 per-step feasible set。

Core Idea

DiffRGD 的核心不是“用了 Riemannian optimization”，而是把 inference-time guidance 从 ambient-space perturbation 改写成 distribution-conditioned constrained optimization。每一步先由 diffusion model 给出 Gaussian center μ_t 和 noise scale σ_t，再采样一个 χ(n) 半径 r，把可行域设为以 μ_t 为中心、半径 σ_t r 的球面。之后所有 guidance 更新只允许改变球面上的方向，不允许改变半径。这个 inductive bias 很直接：保留 Gaussian sample 的 radial statistic，让 condition loss 只消费 angular degree of freedom。

这和 prior 的本质区别在于约束来源。DPS 没有约束；MPGD 的约束来自外部 data manifold 近似；DSG 的球面约束更像 heuristic normalization；DiffRGD 的球面来自当前 timestep 的 sampling distribution 本身。它重新组织的信息流是：模型预测负责确定局部分布中心和尺度，外部 condition 只在该局部分布壳层上选择方向。理论上这比固定 projector 更 general，因为不依赖任务特定训练；也比无约束 gradient 更稳，因为限制了最容易累积 drift 的 radial deviation。

Method

方法机制可以压缩为三步。第一，使用 DDIM reverse transition 的 μ_t 和 σ_t 定义当前 timestep 的局部 Gaussian；这解决的是 guidance 需要一个与 sampler 一致的参考分布，而不是任意邻域。第二，通过 isotropic Gaussian 的 polar decomposition 采样半径 r 并构造球面 S_{t,r}；这解决的是既要保留 Gaussian 的半径统计，又要给 condition optimization 留出方向自由度。第三，把条件 loss 对 latent 的欧氏梯度投影到球面切空间，再用 retraction 回到同一球面；这解决的是普通梯度会产生 radial component，从而改变 transition statistic。

收敛分析本质上是标准 Riemannian gradient descent 在 smooth manifold 上到 stationary point 的保证，价值主要在于说明 inner loop 不会无约束发散，而不是证明最终生成分布全局正确。K=3、guidance interval、各任务的 loss 选择属于实践层面的 compute-quality trade-off；它们影响结果，但不是论文的概念核心。

Key Insight / Why It Works

最重要的 insight 是：扩散中间变量的“看起来像 Gaussian”不只是边缘事实，而可以转化为 test-time optimization 的几何约束。直接梯度 guidance 破坏的往往不是某个语义 manifold，而是 reverse transition 的局部统计一致性；在高维空间里，半径偏移会非常显著，因为 Gaussian mass 集中在薄壳附近。DiffRGD 保留 sampled radius，相当于把更新限制在 typical set 的一个切片上，因此能减少 off-manifold drift。

我认为核心贡献是 latent structure inductive bias，而不是 RGD 本身。RGD 是实现这个 bias 的自然工具；换成任何能做 tangent projection + normalization 的算法，大概率也能得到类似效果。真正有效的部分是“只优化方向、保持半径”的约束。它属于 better inductive bias + test-time compute 的组合：比 DPS 多花算力，比 ADMMDiff 更结构化且更便宜。文中把 distribution preservation 讲得较强，但严格说它只保证每步更新留在给定半径球面上，并不保证方向经过 condition loss 后仍是 uniform，因此并没有保持完整 Gaussian distribution；它保持的是 radial statistic 和局部 feasible geometry。所谓“preserve original Gaussian structure”应理解为弱形式，而不是分布等价。

增益来源并不完全干净。DiffRGD 相比 DSG 的优势可能来自 sampled radius、inner-loop optimization、不同 guidance strength/interval 调参三者叠加；论文没有足够 ablation 将这些因素完全拆开。相比 ADMMDiff 的优势则更像优化路径和 compute allocation 的差异：少一些 ADMM machinery，多一些几何约束。若 benchmark 上条件 loss 与评价指标高度一致，例如 inverse problem 的 L2 consistency 或 segmentation/sketch feature loss，部分提升也可能来自更稳定地优化同一个 surrogate，而非生成先验本身更强。

Relation To Prior Work

DiffRGD 最接近 DPS/FreeDoM、DSG 和 ADMMDiff 这条 inference-time guidance 谱系，而不是 ControlNet/CFG 这类训练式条件生成路线。相对 DPS/FreeDoM，它的新增信息是把 gradient injection 变成 constrained optimization，避免任意欧氏偏移。相对 MPGD，它不试图学习或估计 data manifold tangent，而是使用 diffusion transition 自带的 latent distribution geometry，因此假设更局部、更可控。相对 DSG，它不是简单把 latent normalize 到固定半径，而是从 Gaussian polar decomposition 中保留 χ 分布半径；这是最实质的区别。相对 ADMMDiff，它不是泛化的约束优化框架，而是为 Gaussian transition 定制一个低成本 manifold。

看似新的部分中，Riemannian gradient descent 本身不是新思想，球面投影也不是新机制；新意在于把它们绑定到每一步 DDIM Gaussian 的 polar decomposition，并用它解释 guidance drift。它属于“把 sampler 的概率结构显式纳入 test-time optimization”的方法演化，而不是一个新的 generative model。

Dataset / Evaluation

评估覆盖面比较广：FFHQ/ImageNet 的 restoration，CelebA-HQ 的 segmentation/sketch/FaceID conditional generation，Stable Diffusion 上的高倍率 SR 和 style guidance。它确实比只做单一 inverse problem 的论文更能支撑 plug-and-play claim。实验也比较注意公平性：同一 Diffusers 框架、bootstrap、若干 runtime 对比、100 与 1000 steps 都有覆盖。

但 evaluation 对核心 claim 的验证仍有缺口。论文声称 preserve Gaussian structure，但分布保持实验只用一个简化统计 e 比较 DPS 和 DiffRGD，且没有系统比较 DSG/ADMMDiff，也没有看 full trajectory distribution、directional bias 或 final sample distribution 的统计差异。任务评估大多还是常规 image quality / condition alignment 指标，能证明“效果好”，但不能充分证明“好是因为分布被保持”。真实世界 deployment 也未充分覆盖，例如 unknown degradation、nonlinear inverse problem、强 out-of-distribution condition、非人脸域、多模态条件冲突等。

Limitation

最大前提是 reverse transition 必须能被可信地写成 isotropic Gaussian，且 μ_t 是可靠中心。若 backbone 的 score/mean 本身有 bias，DiffRGD 会非常忠实地围绕错误中心做球面优化，错误不会被 geometry 消除，只会被限制在错误局部壳层上。第二，方法并不真正保持完整 Gaussian distribution：condition loss 会显著改变方向分布，uniform direction 假设被破坏；它保持的是半径和球面约束，不是原始 transition law。第三，高维下 χ 半径集中，sampled radius 与固定 √n 半径差异可能有限，因此相对 DSG 的理论优势在实际高维 latent 中可能没有论文表述得那么大，增益来源不清。

scalability 上限来自 inner-loop backward。它比 DPS/DSG 慢不少，只是比 ADMMDiff 快；如果条件模型很重，比如 CLIP/ArcFace/segmentation backbone，test-time compute 会成为主要瓶颈。对 deterministic DDIM、ODE sampler、flow matching、rectified flow 的扩展文中明确有限；这说明方法不是通用 guidance 原理，而是 Gaussian diffusion transition 的专用几何。还有一个隐含风险是 benchmark 与 guidance loss 的耦合：当评价指标和 guidance feature extractor 相近时，提升可能部分来自 surrogate optimization bias。

Takeaway

• 第一，inference-time guidance 以后不应只讨论 loss 怎么设计，还应讨论更新是否尊重 sampler 的 transition geometry。
• 第二，“保持 typical set 的某些统计量”可能比显式学习 data manifold projector 更稳、更可迁移，尤其在无需训练的控制任务中。
• 第三，DiffRGD 最值得迁移的不是球面本身，而是从 generative process 的 conditional transition 中导出 test-time feasible set；如果换到 flow/ODE，也应寻找对应的几何不变量。
• 第四，未来真正值得做的是更严格地区分 geometry bias、inner-loop compute、radius sampling、scheduler choice 对结果的贡献，而不是继续堆更多 conditional benchmarks。

一句话总结

DiffRGD 是 inference-time diffusion guidance 从“欧氏梯度注入”走向“由采样分布诱导的几何约束优化”的一步，真正贡献在于把 DDIM Gaussian 的 polar structure 转化为可用的 test-time guidance inductive bias。