精读笔记

Problem Setting

这篇论文关注的是 pretrained conditional flow models 在同一 conditioning 下的 sample diversity collapse。形式上模型从不同 Gaussian noise 出发，但实际输出常集中在少数高概率视觉模式，尤其在 FLUX 这类强对齐模型中更明显。真正困难点是 fidelity-diversity tradeoff：如果只是增加噪声或降低 guidance，确实能变多样，但会损害 prompt adherence、结构一致性或图像质量；如果保持强条件对齐，采样又会回到 mode。

以前方法大致卡在两个位置：latent guidance / repulsion 太靠近采样变量本身，容易要么无效、要么破坏图像；reward-based selection 虽然有效，但本质是扩大候选池后筛选，代价高且依赖外部 reward。本文试图解决的不是“如何选出多样样本”，而是“如何让一次 batch generation 的内部 trajectories 本身变得多样”。关键矛盾是：要让样本彼此远离，但又不能离开 pretrained model 的条件流形。

Motivation

已有路线缺的是一个低成本、模型内生的 diversity control 信号。latent-space repulsion 把样本当作几何点推开，但 latent 的局部扰动不一定对应可控语义变化；prompt perturbation 容易直接改变条件语义；reward / verifier 方法则把生成问题转化为外部评估问题，工程上可行但不是机制上优雅。

作者最重要的观察是：在 FLUX 的 MMDiT 中，batch 内输出多样性和中间 feature 的 pairwise distance 有明显对应关系。直接给 feature 加 Gaussian noise 会增加 diversity，而给 latent 加 noise 更容易破坏纹理和结构。这说明 mode collapse 可能已经在内部 representation level 发生，而不是只发生在最终 decoded image 或 latent ODE trajectory 上。因此自然的缺口是：能否直接在 internal feature geometry 上做 controlled dispersion，而不是在外部 reward 或最终 latent 上补救。

Core Idea

核心思想是把 diversity enhancement 从“采样后选择”或“latent trajectory perturbation”改成“内部表征几何重塑”。同一 prompt 下的一组样本在早期 MMDiT feature 空间中如果过于接近，后续 transformer blocks 会沿相似语义轨迹细化，最终自然生成相似图像。于是本文直接对 batch 内 feature 做 repulsive self-guidance，让样本在语义表征层面分叉。

这引入的 inductive bias 是：多样性应该表现为模型内部语义 token 的分散，而不是初始噪声的距离或 pixel-level reward 的后验选择。这个 bias 比 latent repulsion 更接近生成决策的分叉点，也比 Group Inference 更 scalable，因为它不需要生成大量候选再筛选，而是在单次 batch forward 的中间状态上改变信息流。它的本质区别是：prior 方法多数在模型外部约束结果，本文在模型内部改变 batch 样本之间的相互作用。

Method

方法的关键不是模块数量，而是“disperse-and-refine”的机制。

第一，feature dispersion 解决的是 batch 内 representation collapse。作者在同一条件下取 N 个样本的 MMDiT image features，用 log-sum-exp 形式的 pairwise cosine similarity 作为能量函数，并沿负梯度方向更新 feature，使样本互相远离。这个更新直接发生在 feature 上，因此不需要反传早期 blocks，也比 latent guidance 更聚焦。

第二，manifold regularization 解决的是无约束 repulsion 会把 feature 推出自然图像 / 条件流形的问题。作者把被分散后的 feature 再送入同一个 MMDiT block，利用该 block 的 residual read-write 行为生成 correction，再与分散 feature 线性混合。严格说，这不是数学意义上证明过的 projection，而是使用 pretrained block 的局部 prior 做 feature repair。

第三，干预只放在早期 timestep 和早期 block。机制上这是合理的：早期 denoising 决定布局、姿态、背景、对象组合等高层 mode，后期主要补纹理和细节；早期 MMDiT block 对全局语义更敏感，后续 block 干预的边际收益低。这个选择也是效率的来源。

Key Insight / Why It Works

最可能的核心贡献是发现并利用了“internal feature dispersion ↔ output diversity”的对应关系。方法有效不是因为它有复杂优化，而是因为它把 repulsion 放在了更接近 mode selection 的表征层。对于 DiT / MMDiT，早期 block 的 image-token representation 已经融合了 text condition 和 noisy latent 的全局语义信息；在这里拉开样本，比在 x_t 上拉开更可能改变对象姿态、构图、风格和背景，而不是只制造噪声。

manifold regularization 是必要的辅助，但我不认为它是最根本的创新。它更像一个 learned prior-based damping：允许 feature 先离开当前 mode，再用同一 block 的变换把它拉回模型熟悉的局部流形。文中称其为 projection，但未充分说明 projection 的几何意义；它实际更接近 test-time feature editing 后的 consistency repair。

这不是 retrieval，也不是 data scaling；它更接近 representation-level test-time compute。额外的 N_opt steps 确实增加了 test-time optimization，因此部分增益来自 compute，但相比 Group Inference 的 best-of-N scaling，它把 compute 花在 trajectory shaping 而不是候选筛选上。换句话说，它不是用更多样本覆盖分布，而是改变同一批样本在模型内部的相互作用。

需要警惕的是，diversity 指标大多基于 DINO / DreamSim / SSCD embedding，容易奖励视觉差异而不一定奖励真实条件分布覆盖。CADS 的例子也说明高 diversity 可以来自 prompt drift。本文通过 CLIPScore 和 qualitative examples 证明没有严重漂移，但 CLIPScore 对细粒度约束不敏感，因此“保持 faithfulness”的证据不是完全充分。

Relation To Prior Work

最接近的谱系是 inference-time guidance、particle-style diversity repulsion、h-space / internal feature editing，以及 reward-based inference-time scaling。它和 Particle Guidance、Shielded Diffusion、CNO 的共同点是都试图在采样过程中改变多个样本的分布；真正差异在于干预变量从 latent / noise 转到 MMDiT feature。这个差异是实质性的，因为 DiT feature 已经是条件融合后的中间语义状态。

和 Group Inference 的本质区别是，Group Inference 是外部选择机制：先产生冗余候选，再用 reward model 挑子集；本文是内部生成机制：让 batch 内样本在生成过程中变得不冗余。前者可靠但昂贵，后者更轻但依赖模型内部表征的可编辑性。

看似新的部分中，batch repulsion、feature guidance、test-time optimization 都不是新概念；真正新增的信息是把这些思想组合到 pretrained flow / MMDiT 的早期 feature manifold 上，并证明这是比 latent space 更稳定的 diversity control locus。它更像是把 h-space guidance 从 UNet diffusion 时代迁移到 modern DiT flow models，并重新解释为 diversity collapse 的 feature-level correction。

Dataset / Evaluation

评估覆盖了 text-to-image、depth-to-image、reference / personalized generation、step-distilled model，以及若干额外 T2I backbone。这对 plug-and-play claim 是有支持力的，尤其是 depth 和 reference conditioning 显示该方法不只是 prompt-only trick。

但 evaluation 的核心限制是：它主要验证“embedding diversity 提升且 CLIPScore 没明显下降”，没有充分验证“覆盖了真实条件分布中的更多 modes”。DINO / DreamSim / VendiScore 能衡量视觉差异，但不能区分有意义的 semantic mode expansion、风格抖动、背景变化，或轻微 artifact 带来的 feature distance。用户研究有帮助，但规模较小。

和 Group Inference 的对比基本支持效率优势，但并不能完全说明方法更优，因为 Group Inference 的表现强依赖候选池大小、reward 设计和 pruning 策略。文中关于 batch size scaling 的实验有价值：selection-based 方法在大 batch 下会退化，而 feature repulsion 不依赖 discard ratio。不过大 batch 下超参数需要重新调，说明 scaling behavior 仍是经验性的。

Limitation

最深层限制是它假设 pretrained model 的内部 feature space 是可局部编辑且有意义的：推开 feature 会对应多样语义，而 block reprocessing 能把它拉回流形。这在强 DiT 图像模型上成立，但不是理论保证。对于更强 identity preservation、更精确 layout、更长链条 reasoning prompt，feature repulsion 可能会和条件约束冲突。

第二，方法不能创造 base model 没学到的 mode。它最多释放 pretrained distribution 中被采样 dynamics 压扁的部分；如果多样性缺失来自训练数据偏差、模型容量不足或 conditioning bottleneck，这个方法只是重新分配已有概率质量。核心能力可能主要来自 base model 的数据覆盖。

第三，所谓 manifold regularization 的机制文中未充分说明。重复通过同一个 MMDiT block 为什么等价于回到 valid manifold，没有严格论证；更可能是一个工程上有效的 learned denoising prior。β 的 tradeoff 也说明方法是在 diversity 和 adherence 之间手动调节，而不是自动找到条件分布的真实支撑。

第四，它依赖 batch-level pairwise computation，因此天然不适合 streaming / interactive single-sample generation。batch size 变大时虽然实验显示可用，但需要调整 learning rate、β 和 steps，scalability 上限仍不清楚。增益来源也不完全清晰：feature-space locus 是关键，但额外 test-time optimization compute 也贡献了结果。

Takeaway

• 1. 对现代 flow / DiT 生成模型，多样性塌缩很可能不是只发生在输出或 latent，而是在早期内部表征中已经形成；干预 feature geometry 可能比干预 noise 更有效。
• 2. 未来 diversity control 的有希望方向不是继续堆 reward-based best-of-N，而是利用模型内部表征作为可编辑状态，在 generation trajectory 内部做轻量 steering。
• 3. “disperse then repair”是可迁移 insight：先用显式目标打破 batch collapse，再用 pretrained backbone 的局部 prior 做 manifold correction。
• 这一套路可能适用于 video、3D、molecule 等有强生成 prior 的模型。

一句话总结

这篇论文把 diversity enhancement 从外部筛选和 latent 扰动推进到 pretrained flow model 的内部表征几何控制，是一种轻量 test-time feature-space steering 方法，真正贡献在于定位并利用了早期 MMDiT feature collapse 这个更有效的干预点。