精读笔记

Problem Setting

论文实际处理的是 few-step diffusion distillation 的机制归因问题，而不是加速采样或提升图像质量。few-step student 的质量差距通常被压缩成 FID、CLIP 或人评标量，但这些标量无法告诉我们退化发生在文本条件注入、latent trajectory，还是 score prediction；更无法区分这是 architecture effect、prediction-type effect，还是 distillation objective effect。真正困难点在于这些因素在公开模型里高度纠缠：UNet/DiT/MMDiT、CLIP/T5 conditioning、epsilon/velocity/rectified-flow prediction、ADD/LCM/DMD/Hyper 等 recipe 往往同时变化。该论文试图建立一个“响应坐标系”，让同一个生成输出分布被拆成几个机制轴来读。

Motivation

已有路线缺的是可归因的诊断工具。FID/CLIP 适合报告端到端质量，但不适合回答研究者真正关心的问题：student 是丢了 prompt sensitivity，还是 latent dynamics 被蒸馏改写，还是 score head 对扰动变钝？作者的核心观察是 forward pass 的不同层位天然对应不同功能角色：prompt hidden state 更接近条件通道，denoiser input 更接近状态/trajectory parameterization，denoiser output 更接近训练目标约束下的 score/velocity response。如果在这些层位施加受控扰动，并用同一统计量读取输出分布变化，就可能把原本混合在一个质量数字里的因素拆开。关键缺口不是“更多 benchmark”，而是“能跨 backbone 对齐的机制读数”。

Core Idea

核心思想是把 diffusion model 当成一个可局部激励的系统来做 system identification：在 prompt、latent、score 三个位置分别注入 mean、variance、scale 三类扰动，然后看最终图像分布相对 clean 分布的 Bures-W2 响应。它关心的不是扰动后图像好不好，而是哪种统计方向的扰动在某个层位最能改变输出分布。selectivity ratio 本质上是在问：该层对 distribution mean shift 是否比对 variance/scale shift 更敏感。

这和 prior 的本质区别是评估对象变了：不是用一个标量评估生成器整体质量，而是构造一个 layer-mode resolved fingerprint。这个 fingerprint 引入的 inductive bias 是“不同机制因素会在不同 injection layer 上显影”。如果这个假设成立，probe 就比 end-to-end metric 更可扩展：它不依赖具体 architecture 的模块命名，只需要找到文本编码器 hidden state、denoiser input、denoiser output 这三个语义位置；也不依赖训练 recipe 可见，因为它从响应行为反推 recipe 痕迹。

Method

方法上真正必要的部分只有几件事。第一，三层注入解决因果混叠：prompt layer 用作 sanity channel，latent layer 读 prediction type，score layer 读 distillation objective；没有这个分层，RF 指纹和 ADD 指纹会被同一个输出分布距离混在一起。第二，mean / variance / scale 三种扰动不是为了模拟真实噪声，而是为了构造统计对照：如果 mean perturbation 相比 higher-moment perturbation 更能移动图像分布，说明该层存在 mean-selective response。第三，ratio 而不是 raw distance 是为了降低模型整体敏感度、分辨率、feature scale 对跨模型比较的影响。第四，bootstrap-median true Bures-W2 是为了让 point estimate 和 CI 来自同一统计对象；在 n 与 feature dimension 接近的 regime 下，plug-in covariance functional bias 不可忽略。这里最重要的是 matched estimator，而不是某个具体强度或 hook 实现。

Key Insight / Why It Works

最有价值的 insight 是：不同层位确实读出了不同机制轴，而不是同一个质量退化的三个 noisy proxy。prompt layer 几乎对所有模型都 mean-selective，因此它不是 discriminator，而是 sanity check；这反而说明 probe 没有把所有层都强行解释成有用信号。latent layer 的 sustained band 最可能是核心贡献，因为它把 rectified-flow / epsilon-prediction 这个 parameterization 差异显著投影到了 denoiser input response 上。直觉上，RF/flow-matching 学到的是从噪声到数据的 velocity field，latent state 的 mean shift 更直接改变 trajectory geometry；epsilon-prediction UNet/DiT 对同类 mean perturbation 的输出分布响应则更容易被噪声预测和 scheduler 结构吸收或压平。

score layer 的 ADD 低响应更像 objective fingerprint：adversarial-dominant distillation 可能把最终 perceptual distribution 对局部 score perturbation 的 mean selectivity 压低，使 score output 更像被对抗目标塑形后的压缩接口。trajectory-rollout early spike 也合理：这类 loss 直接约束短轨迹一致性或 backward simulation，因此小扰动下的 score response 会在早期强度处局部放大。但这里我会更谨慎：score-layer 发现很可能混有 step count、scheduler、student capacity 和 objective 的共同效应，不应被读成干净的 paradigm taxonomy。

这篇论文不是 scaling paper，也不是通过更多数据得到更好生成质量；它的贡献更接近 better diagnostic inductive bias。可能只是 engineering 的部分包括 forward hook grid、strength sweep、表格 release；真正的新东西是把 perturbation response 组织成可比较的机制坐标，并证明至少在这个 sweep 中该坐标能分离 prediction type 与 distillation objective。

Relation To Prior Work

它最接近三条线：generative model metrics、few-step diffusion distillation、inference-time intervention / probing。和 FID/CLIP/IS/Vendi 这类 metric 的差异在于，它不试图给模型一个质量分，而是给模型一个机制响应剖面。和 ADD、LCM、DMD、Hyper-SD 等 distillation work 的关系也不是提出新蒸馏算法，而是把这些算法在 student 中留下的行为痕迹拆出来。和 PAG、FreeU、AYS 等 test-time intervention 的相似点是都通过 forward path 操作模型；本质差异是这里的 intervention 不用于改善采样，而用于诊断。

看似新的部分里，controlled perturbation、本征 feature distance、bootstrap CI 都不是新概念；实质创新是组合方式：在统一 estimator 下跨 backbone、prediction type、distillation paradigm 做 layer-mode response mapping。该工作属于“mechanistic evaluation / behavioral fingerprinting for generative models”的谱系，而不是 diffusion architecture 或 sampler design 的谱系。真正新增的信息是：latent input response 可能是 prediction parameterization 的稳定读数，score output response 可能携带 distillation objective 的痕迹。

Dataset / Evaluation

评估覆盖 23 个公开 T2I checkpoints，包含 SDXL、SD1.5、SD3.5、PixArt-α、FLUX，横跨 UNet、DiT、MMDiT，以及多个 distillation paradigm。这个 sweep 对论文核心 claim 是基本够用的，尤其是 PixArt-α 作为 T5-conditioned epsilon-prediction control 很关键，否则 RF 指纹很容易被误读为 wide T5 conditioning。FLUX 28/50 step 一致也帮助排除简单 step-count artefact。

但 evaluation 仍是机制归因，不是严格因果实验。公开 checkpoint 的变量无法完全正交控制；non-UNet student 太少，RF 只有 ADD student，没有 non-ADD RF student，因此 latent conclusion 比 score conclusion 更强。MS-COCO caption bank 和 Inception feature Bures-W2 只验证图像分布响应，不验证真实 deployment 下的用户 prompt、多风格 prompt、长文本 compositionality 或 failure modes。CI 主要是 prompt resampling CI，不是 full uncertainty。benchmark 支持“在该 sweep 下可分离”，不支持“普适 detector”。

Limitation

方法成立依赖几个强前提。第一，三个 injection site 必须在不同 backbone 间语义可对齐；对更复杂的 multi-encoder、多阶段、adapter-heavy pipeline，这个前提可能变弱。第二，Inception feature Gaussian Bures-W2 必须足以承载这些响应差异；如果某些机制只体现在 text-image alignment、layout、fine-grained attributes 或 diversity tail，当前 metric 可能看不见。第三，公开模型 sweep 中 prediction type、训练数据、scheduler、normalization、guidance/distillation lineage 仍有共变，文中未充分说明如何完全排除这些 hidden confound。

scalability 上限也明确：这是白盒 probe，需要权重和 forward hooks；它不能做 image-only attribution。它的泛化并没有真正证明，只是在 public checkpoint grid 上表现稳定。score-layer claim 尤其依赖 step-matched comparison；跨 step 直接比较会把 objective effect 和 NFE effect 混在一起。所谓“score layer reads distillation objective”目前更像一个有用经验读数，而不是已建立的机制定律。增益来源不是数据或 scaling，但结论可信度高度依赖 sweep 设计是否覆盖了足够多的反事实模型；目前反事实还不够密。

Takeaway

• 最值得记住的不是某个具体 ratio，而是评估范式：few-step diffusion student 不能只用端到端质量标量读，应该用可分解响应指纹读。
• latent perturbation response 可能是区分 prediction parameterization 的强信号，这个 insight 可以迁移到 flow/diffusion hybrid、consistency model、video diffusion 的机制诊断。
• score-layer response 有潜力用于蒸馏 recipe auditing，但需要更密集的 non-UNet / RF / non-ADD 网格验证。
• 未来真正值得做的是把这类 probe 从 post-hoc analysis 变成 training-time diagnostic：如果某个 layer-mode fingerprint 能预测下游 collapse，就可以反过来约束 distillation。

一句话总结

这篇论文把 few-step diffusion 的评估从黑盒质量标量推进到白盒层位扰动指纹，真正贡献是证明 prompt、latent、score response 在一个公共模型 sweep 中可分别读出通用条件响应、prediction type 和部分 distillation objective 痕迹。