精读笔记

Problem Setting

论文实际处理的是 T2I 中一种更极端的 prompt-faithfulness failure：对象身份本身携带强视觉先验，导致显式给出的反事实属性被忽略。OAO 对象如 Earth、Mona Lisa、Eiffel Tower 的困难在于它们不是普通类别，而是训练分布中高度单例化、视觉形态高度固定的实体；模型生成这些对象时更像在调用记忆中的 canonical template，而不是组合 prompt 中的属性约束。以前方法卡在两点：要么需要知道具体要纠正哪个 token / association，要么依赖 attention editing、优化或外部模型，难以作为通用 test-time mechanism。这里的关键矛盾是：强对象先验提高了 sparse prompt 下的图像质量，但同一个机制会压制用户显式要求的 counterfactual attribute。

Motivation

作者不是从“模型不理解 prompt”出发，而是从“final text embedding 可能过度抽象”出发。已有路线通常在 U-Net / DiT 的 attention 或生成轨迹上补救，但它们默认 final text embedding 已经是充分条件；这篇论文质疑的是条件源头本身。核心观察是早期文本层保留更明显的词级、属性级信息，而 final embedding 更倾向全局语义和训练分布中常见对象-属性绑定。缺口在于：这些早期层信息已经在模型内部存在，却没有被 denoiser 使用；如果能在结构形成阶段重新接入，可能绕过 final embedding 对反事实属性的压缩。

Core Idea

核心思想可以概括为：把文本编码器的中间层表示当作一种未被使用的 internal memory，在扩散早期阶段重新注入条件信号，以增强被 canonical prior 压制的属性。它改变的不是模型参数，而是条件信息流：从单一 final embedding conditioning，变成 early denoising 使用 final semantic embedding + intermediate lexical / attribute embedding 的混合条件。

这个思路理论上成立的直觉是：生成的全局结构在早期 denoising 决定，如果反事实属性没有在这个阶段进入轨迹，后期很难通过细节修补把 Earth 变成 octagon 或把 Mona Lisa 变成 knitted object。与 prior 的本质区别在于它不需要外部检测“哪个概念丢了”，也不需要优化 cross-attention；它假设丢失信息仍在文本编码器内部，只是 final embedding 和 denoising schedule 没有正确利用。这使它比 prompt-specific editing 更 scalable，但也意味着它只能恢复“内部已有、但被压低”的信息。

Method

方法的机制层面很克制。第一，取文本编码器早期 transformer block 的 hidden state，解决 final embedding 对词级属性的压缩问题；这一步的核心变化是把条件信号从 purely semantic representation 扩展为 semantic + lexical/attribute representation。第二，对中间层表示做 final layer norm 后与 final embedding 加性融合，解决表示分布不匹配问题；相比直接替换，加法保留对象身份和 backbone 习惯的 conditioning interface。第三，只在早期 denoising 注入，解决属性进入结构形成阶段的问题，同时避免后期持续扰动带来的 artifact。第四，用 adaptive schedule 根据 predicted clean image 的结构变化决定切换点，主要解决固定注入步数对模型和数据集敏感的问题。这里最关键的是 early injection，不是 scheduler 本身。

Key Insight / Why It Works

最重要的 insight 是：很多 T2I alignment failure 不是文本信息完全缺失，而是信息在 representation hierarchy 和 denoising dynamics 中被错误加权。final text embedding 更适合让模型生成高概率、自然、canonical 的图像；中间层 hidden state 则保留更字面的 token-level 区分。当 prompt 要求违背先验时，final embedding 的“好处”变成坏处：它帮助模型回到训练分布里的 canonical attractor。IR-guidance 的作用像是在 early trajectory 上增加一个反 canonical attractor 的微小偏置。

我认为真正有效的部分是 representation alignment + early denoising intervention 的组合。只用中间层可能分布不对、图像不稳；只在后期注入太晚；只做 schedule 没有新信息源。加性融合是合理的，因为它不是替代 final semantics，而是给 denoiser 一个 residual lexical correction。信息论部分提供了叙事框架，但严格性有限：DPI 只能说明中间表示对原始文本的互信息不低于最终表示，不能保证这些信息是视觉可用的，也不能保证 denoiser 学会利用这种分布外混合 embedding。真正的机制更像 test-time memory reuse + representation alignment，而不是新的推理能力。

这不是 scaling，也不是 retrieval；更接近 latent conditioning reweighting。它利用的是预训练模型中已有的数据覆盖和文本编码器层级结构。若属性从未被视觉模型学会，或者对象-属性绑定需要精确局部控制，方法不会凭空产生能力。所谓 alignment improvement 主要是把已有可生成属性更早、更强地绑定到对象上。

Relation To Prior Work

最接近的技术谱系包括 prompt-to-prompt / attention manipulation、training-free compositional guidance、以及 Diffusion Lens 一类的 text encoder intermediate representation analysis。与 attention editing 的差别是，它不显式改 cross-attention map，也不要求用户指定 target token；与 optimization-based alignment 的差别是，它不做 per-prompt 迭代搜索；与 bias editing 的差别是，它不是预先定义某类 association 然后去除，而是对任意 prompt 中被压低的属性提供统一的内部信号增强。

看似新的部分不是“中间层有信息”这个事实，已有工作已经观察到早期层保留 simple concepts；真正新增的是把这个观察转成一个低成本的 inference-time conditioning policy，并把它放到 OAO 这种强 canonical prior 场景里验证。OAO-AttackBench 也是贡献之一，因为它把 alignment failure 从普通组合错误推进到“模型记忆模板与用户显式文本冲突”的设置。方法本身是已有思想的有效重组：intermediate representation probing + embedding arithmetic + early denoising control，但组合得比较干净。

Dataset / Evaluation

OAO-AttackBench 的价值在于它刻意攻击单例对象的核心视觉身份，因此比普通 compositional benchmark 更能暴露 concept association bias。覆盖了 celestial objects、landmarks、artworks，属性包括 shape、material、pattern、genre、style，这些确实对应 canonical prior 容易压制的维度。Whoops 和 Gecko 用来说明方法不只适用于 OAO，但真正支撑核心 claim 的还是 OAO-AttackBench。

评估上，VQAScore 比 CLIPScore 更能捕捉属性是否出现，因此看到 VQA 提升而 CLIP 变化较小是符合机制预期的。KID 和 HPS 用来排除明显质量退化，也基本够用。但 evaluation 的 limitation 很明显：VQA metric 可能把全局风格变化误判为目标属性绑定成功，例如“clay”出现在背景而不是 Big Ben；LLM 生成的攻击属性也可能偏向 VQA 容易识别的视觉词。它验证了“属性出现概率提高”，但对“属性是否精确绑定到目标对象”验证还不充分。

Limitation

核心前提是：中间层表示中确实保留了被 final embedding 压制的属性，并且 denoiser 对这种混合 embedding 仍然可用。这是经验成立，不是理论保证。互信息论证存在跳跃：从 I(Y; ch) ≥ I(Y; cf) 到 I(Y; xh) ≥ I(Y; xf) 依赖 denoiser 如何响应条件表示，文中未充分说明；属性条件互信息提升也不是严格推出的。

方法上限也清楚：它不能解决 backbone 本身不会画的东西，不能保证 object-level local editing，不能处理需要长期规划或复杂几何推理的 prompt。某些增益可能来自扰动早期 denoising 轨迹，延迟 premature convergence，而不完全来自“恢复丢失概念”；这部分增益来源不清。泛化到普通 prompt 的证据偏弱，Gecko 上更多是 harmless 而非 strong improvement。对 closed-source frontier models 的讨论说明问题存在，但不说明方法可迁移，因为它需要访问 text encoder hidden states。

Takeaway

• 第一，T2I alignment 的一个重要方向不是继续堆外部 verifier，而是重新利用 backbone 内部未被最终条件接口充分暴露的 representation hierarchy。
• 第二，counterfactual / OAO prompt 是比普通组合 benchmark 更干净的压力测试，因为它直接测模型能否覆盖训练分布中的 canonical attractor。
• 第三，早期 denoising 是属性绑定和结构改写的关键窗口；后期再做 guidance 往往只能修纹理，难以改变对象形态。
• 第四，未来更值得做的是 token-aware、object-aware 的 intermediate representation injection，而不是全 prompt 全局注入，否则属性会继续泄漏到背景或非目标对象。

一句话总结

这篇论文把 T2I prompt alignment 从外部纠错推进到内部表征重用：通过在早期 denoising 注入文本编码器中间层信号，缓解 canonical object prior 对显式反事实属性的压制，是一种轻量的 test-time representation-guidance 方法。