精读笔记

Problem Setting

这篇论文实际处理的是异构 latent-space 下的 one-step text-to-image distillation。已有 VSD、DMD、ADD/LADD 类方法默认 teacher 和 student 在同一个 latent representation 上，因此可以直接比较 teacher score、student score、x0 estimate 或送入同一个 discriminator。但现代 teacher 如 SD3.5/Flux 往往是 1024 resolution、不同 VAE、不同 latent channel、flow/DiT/MMDiT；部署友好的 student 则常是 SD1.5/SD2.1 UNet、512 latent regime。真正困难点是：监督信号没有共同坐标系，而不是简单的模型大小差异。关键矛盾是想保留 legacy student 的低延迟、生态兼容和一拍生成，同时又想从更强 teacher 的高分辨率 latent distribution 中获益。

Motivation

现有路线不够的原因很直接：如果在 teacher space 内蒸馏，student 通常继承 teacher 的 latent resolution 和 VAE，部署优势下降；如果压缩 teacher backbone，又要面对 pruning 上限、结构重设计和大规模 retraining。作者的核心观察是，跨架构和跨 diffusion/flow 机制可以通过 output-level supervision 缓解，因为最终都能转成 teacher 可处理的 x0/latent estimate；而 Cross-Resolution 与 Cross-VAE 才是阻断 objective 的硬约束。缺的不是一个更强 student，而是一个把旧 student 输出翻译成现代 teacher latent language 的接口。

Core Idea

核心思想是引入一个轻量 Bridge，把 student latent 映射到 teacher latent space，使得标准 one-step distribution distillation 可以照常使用。它改变的是 distillation 的坐标系统：不再要求 teacher/student 共享 latent，而是把 student 的预测投影到 teacher 可评价的空间。

这比简单 upsampling 或重训练 VAE 更有意义，因为 Bridge 同时承担 resolution alignment 和 VAE-space alignment；它引入的 inductive bias 是“student latent 中已有的低分辨率语义结构足以被重参数化为 teacher latent 上的高分辨率结构先验”。本质区别在于 prior work 多是在同一 representation 内做时间步压缩或模型压缩，而这篇把 representation mismatch 作为一等问题处理。

Method

方法的关键机制可以压缩为三层。第一，先用 paired latents 训练 Bridge：同一图像分别经过 student VAE 和 teacher VAE 得到 zS/zT，Bridge 学 zS→zT。这解决的是异构 latent 下监督不可比的问题。第二，Bridge 不从零学习上采样，而是复用 frozen student VAE decoder 的早期 block 做空间展开；这利用 student VAE 已经学到的 spatial prior，把学习负担集中到 teacher latent parameterization 对齐。第三，用 teacher denoiser attention fidelity 约束 mapped latent，使 ˆzT 不只是数值接近 zT，而是在 teacher 内部诱发相似的 long-range token relation。训练好后 Bridge 冻结，student 通过 Bridge 接受 VSD/GAN 等 teacher-space distillation；这一步的核心变化是 teacher supervision 被重新定义在 teacher-compatible latent 上。

Key Insight / Why It Works

最可能真正有效的部分是 representation alignment，而不是某个具体 backbone。Bridge 让 teacher 的 score/discriminator/attention 都能作用到 student 产生的样本上，相当于给旧 student 接了一个现代 teacher 的“评价坐标系”。这解决的是 objective availability，而不是单纯增加参数。

spatial prior 很关键，因为 cross-resolution mapping 如果完全可学习，会退化成小型 super-resolution/decoder，训练不稳且数据需求更高；冻结 VAE decoder prefix 等于把 student latent 的几何结构显式带入 teacher grid。Attention Fidelity 也可能是核心贡献之一，因为 L1 latent reconstruction 只保证局部坐标接近，不保证 teacher denoiser 内部认为结构一致；attention matching 更像在 teacher manifold 上施加结构一致性。

但也要直接说：最终生成质量提升未必全部来自 Bridge。2M teacher-generated synthetic images、DMD2-style distribution matching、adversarial objective、preference-model-driven evaluation 都可能贡献很大。Bridge 可能主要是让这些已有强 recipe 能跨 space 生效，而不是单独产生新的生成能力。resolution upgrade 部分尤其可能是 learned hallucination + teacher decoder prior，而不是 student 真正拥有 1024 级别细节建模。

Relation To Prior Work

它最接近的是 DMD/VSD/ADD/LADD 这条 one-step distribution distillation 谱系，但把 shared latent-space 假设拆掉了。与 consistency / trajectory distillation 的差异不在采样轨迹，而在监督空间；它仍然依赖已有 one-step distillation machinery。与 pruning/mobile diffusion 的差异在于不直接压缩 teacher，而是复用已有 compact backbone 并学习接口。

看似新的部分中，attention distillation、reverse KL、latent reconstruction、VAE prior 都不是全新思想；实质创新是把这些组织成一个 cross-VAE/cross-resolution latent interface，使异构 teacher 的 distribution objective 可复用。它的真正新增信息是：对于现代 T2I 蒸馏，跨架构/跨机制可能不是主要瓶颈，latent representation mismatch 才是阻塞项。

Dataset / Evaluation

evaluation 覆盖了多个 teacher family 和两个 compact student family，能一定程度支持“跨架构、跨 VAE、跨 diffusion/flow”的 claim。指标主要是 preference/alignment model，加少量 qualitative；这适合衡量感知质量，但不足以证明真实用户偏好、端侧部署稳定性或 out-of-distribution 泛化。

训练数据是 2M teacher synthetic images，这让实验更像 teacher distribution replay，而不是从真实数据中学习通用 mapping。benchmark 是否真正验证核心 claim？部分验证了：Bridge 让异构 teacher supervision 可用，并在常见 prompt metrics 上有效。但它没有充分隔离 Bridge、synthetic data、DMD2/GAN objective、teacher decoder prior 的贡献。真机侧只给了 H100 runtime/memory overhead，不等于移动端实际部署验证。

Limitation

第一，方法依赖 student latent 中已经包含足够语义结构；Bridge 只能重参数化和补细节，不能弥补 student backbone 的根本表达缺口。第二，conditioning mismatch 没有解决：SD1.5 的 CLIP conditioning 很难完整继承 FLUX/SD3.5 的文本理解和组合能力。第三，Bridge 冻结才稳定，joint training 会崩，说明 interface 与 generator learning 之间仍有优化耦合问题。第四，高分辨率能力的归因不清，可能主要来自 teacher synthetic data 覆盖、teacher decoder prior 和 evaluator 偏好，而不是 student 学到了真正的 1024 分布。第五，scaling 到 video、editing、多条件生成或任意 resolution 并非自然成立；当前证据主要局限在 512→1024 的 image latent mapping。

Takeaway

• 最值得记住的不是 Bridge 的具体结构，而是 shared latent-space assumption 是 one-step distillation 的隐性瓶颈；把它显式建模后，很多现代 teacher 可以被接入旧 student。
• 这个方向未来可能从“模型压缩”转向“表示接口学习”：不一定要重训 compact generator，而是学习可插拔 alignment layer，让强 teacher 的监督跨空间流动。
• 可迁移的 insight 是：当 teacher/student 异构时，先解决监督坐标系，再谈 distillation objective；否则很多 loss 只是形式上成立。
• 真正值得继续做的是 conditioning-space alignment、Bridge/student joint optimization 稳定性、多 teacher knowledge fusion 的可解释归因，以及真实端侧部署下的质量-延迟权衡。

一句话总结

这篇论文在 one-step diffusion distillation 谱系中把问题从“同空间内压缩采样步数”推进到“异构 latent 表示间建立蒸馏接口”，真正贡献是指出并缓解 shared-space 假设，而不是发明一个新的生成 backbone。