精读笔记

Problem Setting

论文解决的是 diffusion model weight-level adaptation 后的隐性语义漂移检测问题。这里的 adaptation 包括两端：向模型加入新概念的 customization，以及从模型中移除概念的 unlearning。表面任务是评估 adapted model 是否仍然可靠，但真正的问题是：一个局部权重更新会不会在非目标概念上破坏模型的语义覆盖，而这种破坏是否能在部署前被定位。

难点不在于证明模型质量会下降；这很容易用坏方法做出来。难点在于副作用经常是稀疏、非直觉、概念依赖的：平均质量几乎不变，目标任务也成功，但某些 class/concept 已经显著漂移。传统 FID/KID、目标 prompt evaluation、甚至平均 zero-shot accuracy 都天然不适合发现这种 worst-case 局部损伤。关键矛盾是：adaptation 是局部目标驱动的，但权重空间变化会沿模型内部表征耦合扩散；评估却仍停留在目标概念或全局平均层面。

Motivation

作者的动机不是提出更好的 unlearning/customization 方法，而是质疑现有 adaptation evaluation 的粒度。已有路线默认“目标达成 + 总体质量不坏”就足够，但这在 foundation model 部署里明显不成立：用户关心的是模型在开放词汇空间中哪些能力被顺带损坏。

核心观察是：concept customization 和 concept unlearning 虽然目标相反，一个添加概念、一个删除概念，但都会通过 weight-level modification 改写共享表征，因此都可能产生非目标概念漂移。这说明问题不太像某个算法的 bug，而更像 diffusion checkpoint adaptation 的系统性副作用。

关键缺口是缺少一种不依赖真实数据、不需要为每个概念预定义 benchmark、还能直接输出“哪些词受影响”的模型 diff 工具。换句话说，缺的不是更精细的平均指标，而是一个 concept-level audit mechanism。

Core Idea

DriftScope 的核心思想是把“适配副作用”建模成两个 checkpoint 在同一生成条件下的注意力动力学差异。给定 base model 和 adapted model，用同一个 prompt、同一个 seed、同一采样过程，让两个模型走相同 denoising trajectory，然后比较它们 cross-attention maps 的偏离。若某个 token 触发的视觉概念在 adapted model 中被改写，那么两个模型在把文本 token 绑定到空间 latent 结构时应该出现系统性分歧。

更关键的是，作者没有手工枚举概念，而是把 probe 本身变成优化变量：用 soft prompt / mask-token optimization 搜索最能放大 checkpoint 差异的 token。这个建模方式把 evaluation 从被动测量固定 prompt，变成主动寻找 failure surface。它引入的 inductive bias 是：概念漂移会在 cross-attention 层被局部化，并且可以通过可微 prompt search 被暴露出来。相比 COMPCON 这类外部 VLM/LLM 搜索，DriftScope 更像 white-box-ish 的 checkpoint diff；相比 SAE/GDC，它不需要大规模生成后再分析，而是直接在 prompt/token 层做诊断。

Method

方法中真正有必要的机制如下。

第一，paired checkpoint comparison。base 和 adapted model 使用相同 prompt 与 noise seed，这一步的作用是消除采样随机性，把图像/attention 差异尽量归因到权重变化。没有这个配对设计，drift 很容易和 diffusion sampling variance 混在一起。

第二，cross-attention divergence。作者选择比较 attention map 而不是最终图像 embedding，原因是 attention 是文本 token 与空间生成结构的接口，更适合做 token-level attribution。它把“图像变了”前移成“模型如何把词绑定到视觉区域变了”。这不是严格因果解释，但作为诊断信号足够直接。

第三，soft prompt optimization。离散 token 空间不可微，因此用 masked LM + Gumbel-Softmax/translator 把候选词搜索变成可反传过程。核心变化是从固定 benchmark prompts 转向自动发现高漂移 probes。这里本质上引入了 test-time compute：不是模型更强，而是审计过程更主动。

第四，多 seed、多 layer 聚合。它解决的是单次 noise realization 或单层 attention 偶然性的稳定性问题。这个部分更像必要的 engineering stabilization，不是概念贡献本身。

SAE 和 GDC 不构成 DriftScope 的核心方法，而是现象验证：SAE 显示生成分布的概念激活发生 heavy-tailed shift，GDC 显示这种 shift 会反映到可识别语义能力上。

Key Insight / Why It Works

最重要的 insight 是：adaptation 的副作用不是均匀噪声，而是沿概念表征结构传播的局部损伤；因此应该用 worst-case / high-drift concept search，而不是 global average metric。FID/KID 失败不是因为实现差，而是统计对象错了：它们对局部概念灾难没有足够灵敏度。

DriftScope 可能有效的根本原因在于 diffusion T2I 模型的语义控制瓶颈很大程度经过 text-image cross-attention。权重适配如果改变了某些概念的生成方式，往往会改变 token-to-spatial-feature 的对齐模式；优化 prompt 去最大化两个 checkpoint 的 attention 差异，就相当于在模型的语义控制面上寻找 adaptation 的裂缝。

我认为核心贡献不是 Gumbel-Softmax，也不是 token translator，也不是 L1 attention distance；这些都是已有 prompt optimization / model probing 技术的组合。真正贡献是把 adaptation evaluation 重新表述为 differentiable model diffing，并且把输出粒度落到 token/concept blacklist，这比“给 adapted model 一个分数”更接近部署需求。

这不是 scaling 论文，也不是 data coverage 论文。它更接近 representation alignment / model diff / test-time search 的结合。有效性来自 better inductive bias：比较两个共享架构 checkpoint 的内部对齐差异，比比较生成图像的全局分布更容易定位局部变化。

需要警惕的是，attention divergence 不等价于能力损失。它可能捕捉到风格变化、布局变化、prompt token competition、甚至 tokenizer/translator artifact。文中用图像级指标和 GDC 补强了这一点，但因果链仍没有完全闭合。特别是当方法输出像 bible、dragon、devil、Facebook 这类非直觉 token 时，诊断价值很高，但也更需要确认这些 token 在真实流量中是否构成实际风险。

Relation To Prior Work

这篇论文最接近三条线：open-world forgetting in diffusion customization、concept unlearning evaluation、以及 model diffing / adversarial prompting。

相对 open-world forgetting，本文的新增点是把现象从 customization 扩展到 unlearning，并强调二者共享 weight-level adaptation 副作用；更重要的是从事后分析推进到 prompt-level diagnostic tool。这个扩展是实质性的，因为它把问题从某类 fine-tuning 的 forgetting 变成更一般的 checkpoint adaptation drift。

相对 SAE-based conceptual blindspot 工作，DriftScope 不依赖真实数据分布，也不是比较生成数据和真实数据，而是比较同架构两个 checkpoint。这让 attribution 更干净：差异更可能来自 adaptation，而不是训练数据覆盖或模型间架构差异。

相对 COMPCON / VLM-LLM model comparison，DriftScope 的差异在于它是可微、自包含、面向同源 checkpoint 的局部 diff。COMPCON 更适合比较不同模型家族，但归因混杂；DriftScope 的归因对象更窄，因此更适合审计一次具体 adaptation。

相对 Ring-A-Bell、SAGE、DEXTER 等 adversarial prompting，它复用了 prompt optimization 的外壳，但目标不同：不是攻击单模型或绕过 safety，而是找两个模型之间的最大行为分歧。看似新颖的 prompt search 其实是已有思想重组；实质创新在于把它用于 adaptation-induced drift localization。

Dataset / Evaluation

evaluation 覆盖了两个 adaptation regime：unlearning 和 customization；也覆盖多个方法与若干 Stable Diffusion 架构。这个设计足以支持论文的主 claim：hidden drift 不是单一方法的偶发现象，而是 weight-level adaptation 的普遍风险。

SAE 分析提供 concept-distribution 层面的证据，GDC 提供语义可识别能力层面的证据，DriftScope high/low-drift token 对比提供工具有效性的证据。三者组合比较有说服力，因为它们分别从生成分布、latent/prototype classification、以及 prompt-level diff 三个角度指向同一现象。

但 evaluation 仍有明显边界。第一，真实 deployment prompts 的覆盖不足，主要依赖 DiffusionDB、模板 prompt、PromptHero 示例和若干概念。第二，high-drift tokens 的实际风险没有和真实用户流量、人工偏好或任务失败率系统绑定。第三，DriftScope 的验证指标仍是图像相似度/质量/对齐代理，并不能完全证明 token 被“损坏”。第四，DreamBooth 的 customization 数据非常小且概念有限，跨概念统计能说明不稳定性，但还不足以推出广泛泛化。

总体上，实验很好地验证了“聚合指标会漏掉局部漂移”和“DriftScope 能找到更不稳定的 token”；但对“这些 token 就是 deployment 中最需要 blacklist 的风险概念”这一点，证据还不充分。

Limitation

最大的隐含前提是 cross-attention map 是概念漂移的可靠代理。这个假设在 SD1/2 这类 attention 语义较清晰的模型上合理，但在不同架构、不同 text encoder、transformer diffusion 或 attention 机制更复杂的模型上未必稳固。文中虽然引入 token translator 以跨 encoder 工作，但增益来源不清，translator 本身也可能引入词义邻近错误。

第二，方法是 optimization-based diagnostic，计算成本不低。它把一部分评估问题转移成 test-time search 问题：为了找到 drift，需要多初始化、多 seed、多层 attention 聚合。这在少量 checkpoint 审计中可接受，但对大规模 LoRA marketplace、持续个性化或在线模型版本管理，scalability 上限明显。

第三，DriftScope 在全局退化模型上会失去解释力。Scissorhands 这类情况里 attention 到处都坏，最大漂移 token 不再代表局部概念损伤，而只是 collapse surface 上的随机切片。作者承认这一点，但它说明方法适用范围是“模型仍大体可用但存在局部漂移”的中间区间。

第四，漂移不等于负面损伤。某些 token 的 attention/image distribution 改变可能是风格变化、composition shift、概念细化，甚至是 adaptation 对相关概念的合理泛化。论文倾向把 high drift 解释为 collateral damage，但文中未充分说明如何区分 harmful drift、benign drift 和 intended generalization。

第五，泛化到真实部署仍未闭合。真实 prompts 往往长、多实体、含风格词和关系约束；DriftScope 能处理长 prompt 的例子有，但系统性不足。所谓 prompt-level audit 的实用性最终取决于用户 prompt distribution 的覆盖，而这部分可能主要来自 data/prompt coverage，而不是方法本身。

Takeaway

• 第一，这篇论文最值得记住的是评估视角的变化：adapted diffusion model 不应只看目标成功率和全局质量，而要做 checkpoint-level concept diff。
• 第二，局部 worst-case 概念损伤是 diffusion adaptation 的核心风险形态之一；平均指标不只是“不够好”，而是结构上不适配这个问题。
• 第三，可微 prompt search 是一个有迁移价值的审计范式：不手写测试集，而是让模型差异自己生成 probe。
• 这可以迁移到 safety unlearning、personalization、style LoRA、model merging、甚至 LLM checkpoint diff。

一句话总结

DriftScope 是一篇把 diffusion adaptation 评估从全局质量度量推进到可微 checkpoint diff 和概念级副作用审计的论文，真正贡献在于揭示并定位 weight-level adaptation 的隐性局部漂移，而不是提出新的适配算法。