精读笔记

Problem Setting

论文关心的是 gradient-based training-free guidance 中的“流形保持”问题：给定一个已训练好的 diffusion / flow model，用外部 classifier 或 energy 在采样时推动样本向目标属性移动。真正困难点不是让 classifier accuracy 上升，而是让这个移动仍发生在 learned data manifold 上。TFG 必须在早期高噪声阶段施加强控制，因为全局语义在早期决定；但此时 clean image estimate 最不稳定，而 guidance objective 又通常只在 clean image 上有意义。以前方法卡在把 failure 归因给 guidance strength 或 sampler，而没有检查 \hat{x} 的 parameterization 是否已经把梯度方向污染。关键矛盾是：越早 guidance 越有效，越早 clean estimate 越脆弱；epsilon-prediction 恰好在这个阶段有最强误差放大。

Motivation

已有 TFG 路线不够的地方在于，它们默认 denoiser 的 prediction target 只是训练参数化选择，而不是 inference-time controllability 的结构性变量。作者的核心观察很锋利：所有 gradient-based TFG 都要通过 \hat{x} 计算 \nabla_{z_t} E(\hat{x})，所以 guidance 质量首先受 \hat{x} 质量控制，而不是受 energy function 本身控制。另一个关键缺口是 evaluation：Validity 只问 classifier 是否被说服，不问样本是否仍像目标类真实图像，因此会系统性偏向 adversarial-like guidance。论文动机不是“x-prediction 更好看”，而是“clean estimate 的恢复公式决定了 guidance 梯度是否可信”。

Core Idea

论文的核心思想是把 prediction target 看成 TFG 的信息瓶颈：epsilon/v/x 三种 target 在无 guidance 生成质量接近时，并不意味着它们对 inference-time guidance 等价。因为 guidance 并不是直接作用在模型最终样本上，而是在每一步通过当前 noisy state 的 clean estimate 来计算外部能量梯度；一旦 clean estimate 离开数据流形，梯度就可能沿 classifier shortcut 而非真实语义方向更新。

本质区别在于 x-prediction 改变了信息流：它让网络直接输出流形附近的 clean object，把“从 noisy state 恢复 clean image”作为模型学习目标本身；epsilon-prediction 则先预测 ambient noise，再通过除以 t 的公式反推出 clean image。这个公式在高噪声区引入奇异放大，等价于把 TFG 最依赖的早期语义控制建立在最不稳定的估计上。x-prediction 的 inductive bias 是直接学习 manifold projection / posterior mean，而不是学习全 ambient-space noise residual；这也是它更可能随维度扩展的原因。

Method

关键机制有三点。第一，作者分析三种 recovery formula 对 clean estimate error 的放大：epsilon 是 unbounded amplification，v 是 bounded attenuation，x 是 direct prediction。它解决的是 TFG 梯度为什么在不同 target 下质量不同的问题，而不是 sampler 细节问题。

第二，作者把单步误差推广到采样轨迹：早期的 \hat{x} 偏差会改变后续 state，因此不是局部噪声，而是 trajectory-level drift。这个机制解释了为什么 epsilon-prediction 的 failure 往往是 catastrophic collapse，而不是偶尔错类。

第三，作者引入 Child FID 和 guidance sweep。C-FID 的作用不是替代所有指标，而是把“classifier 接受”与“目标子类分布真实”拆开；sweep 的作用是观察进入 adversarial regime 的临界 guidance strength。这里真正必要的是 evaluation protocol，而不是某个新模型模块。

Key Insight / Why It Works

最核心贡献是把 TFG 的 off-manifold failure 归因到 clean-estimate recovery 的条件数，而不是归因到外部 classifier 或 guidance hyperparameter。epsilon-prediction 在训练时可以通过 latent compression、schedule、loss weighting 等工程手段获得好 FID，但在 TFG 中它必须在 t 接近 0 时除以 t 恢复 \hat{x}；这相当于把小的 noise-prediction residual 放大成大的 clean-image error，再通过 classifier gradient 进一步放大。这是结构性问题，不是简单调 guidance strength 能彻底解决的。

x-prediction 有效的原因更像 better inductive bias / representation alignment，而不是 retrieval、planner、memory reuse 或 test-time compute。它直接把网络输出对齐到 guidance objective 所在空间：energy 看 clean image，model 也直接给 clean image。v-prediction 居中，因为没有 1/t singularity，但仍混合了 manifold component 和 ambient noise component，在高维下 base error 不如 x。论文中 JiT scaling 的增益可能主要来自 capacity 提升带来的更好 \hat{x}，但这属于 secondary effect；真正的一阶变量仍是 target parameterization。

我认为 C-FID 是本文另一个实质贡献，因为它揭示了 Validity 的反向激励：高 Validity 可能只是 classifier-friendly pattern concentration。Precision/Recall 中 epsilon 的 high precision / low recall 也说明它不是更好地覆盖目标类，而是收缩到少数可骗分类器的模板。这一点比单纯 C-FID 数字更有说服力。

Relation To Prior Work

这篇属于 diffusion guidance / controllable generation 谱系，但它不是 DPS、LGD、TFG 那类“设计更复杂 inference correction”的工作，而是对这些方法共同依赖的 \hat{x} 通道做条件数分析。和 DDPM/DiT 的 epsilon-prediction、SiT/PixelFlow 的 v-prediction、JiT 的 x-prediction相比，它的新增信息是：prediction target 不只是训练稳定性或 sample quality 选择，而是决定 training-free controllability 的结构变量。

和 prior 的 training-time target 分析相比，本文把误差放大从 denoising quality 推到 inference-time guidance gradient；这是实质创新。C-FID / Pareto sweep 则是对 TFG evaluation practice 的纠偏。看似新的部分中，Child FID 本质上是 class-conditional FID 的重命名和系统化使用，不是全新 metric；真正有价值的是把它放在 guidance-strength sweep 中，用来捕捉 adversarial guidance onset。

Dataset / Evaluation

评估设计基本能支撑核心 claim，但不是无懈可击。toy crossed-lines 和 half-arcs 是最干净的证据，因为 architecture、training、data 都相同，只换 target；它们清楚验证了维度上升时 epsilon collapse、x 保持 manifold 的机制。ImageNet fine-grained birds 更接近真实使用场景，因为目标类差异细、classifier shortcut 明显、parent-to-child guidance 能放大 off-manifold failure。

C-FID、P-FID、Validity、DINOv2 Precision/Recall 的组合比单点 accuracy 更合理，尤其是 separate guidance/evaluation classifiers 降低了 circular evaluation。但 real-scale 仍有明显 limitation：JiT/DiT/SiT/PixelFlow 在 operating space、架构、训练 recipe、参数量、sampler、VAE decoder 上都不完全一致。PixelFlow 和 JiT 的 pixel-space 对照、DiT 和 SiT 的 latent-space 对照能缓解混杂，但不能完全消除。Style transfer 和 inverse problems 扩展了任务覆盖，不过它们更像支持性证据，核心证据仍来自 fine-grained classification 与 toy ablation。

Limitation

方法成立依赖几个强前提。第一，energy function 需要足够 smooth / Lipschitz，且其梯度在 clean-estimate error 下不会出现额外不可控行为；真实 classifier 的 adversarial geometry 可能比理论假设更糟。第二，理论默认不同 target 的 network Jacobian norm 可比，但文中未充分说明这一点在大型模型中是否成立。第三，x-prediction 的优势可能部分来自 JiT 的 pixel-space architecture、训练数据覆盖和 capacity，而不完全是 target；作者给了 convergent evidence，但增益来源仍不可能完全干净分解。

scalability 上限也未验证。高分辨率、video、多帧一致性和 text-to-image 都会进一步放大维度与时序误差，理论预测 x-prediction 更占优，但这仍是 extrapolation。另一个隐含问题是，x-prediction 把难题转移给模型本身：它要求网络在高噪声下直接预测 clean image/posterior mean；如果模型容量或数据覆盖不足，direct x estimate 也可能变成 hallucinated projection。最后，C-FID 依赖目标 reference dataset，真实 deployment 中很多 guidance target 没有干净 child distribution 可用于评估。

Takeaway

• 第一，TFG 的可靠性不应只从 guidance algorithm 评估，而要从 denoiser parameterization 的 clean-estimate stability 评估；\hat{x} 是真正的控制接口。
• 第二，Validity 在强 guidance 下可能是有害指标，因为它奖励 classifier-fooling，而不是 on-manifold target coverage；未来 controllable generation 需要默认做 guidance sweep + manifold-aware metric。
• 第三，x-prediction 的价值不只是更好 FID，而是把 model output space 与 guidance objective space 对齐，这个 insight 可以迁移到 inverse problems、style guidance、test-time search、SMC 和 video guidance。
• 第四，未来真正值得做的是 target-aware guidance：例如 noisy-state classifiers、early-step conservative guidance、hybrid x/v targets、Jacobian-regularized clean prediction，而不是继续堆 TFG hyperparameter。

一句话总结

这篇论文把 training-free diffusion guidance 的 off-manifold collapse 从“guidance 调参问题”重新定义为“prediction target 导致的 clean-estimate 条件数问题”，实质贡献是证明并实证支持 x-prediction 是更稳健的 inference-time control interface。