精读笔记

Problem Setting

论文标题：Look But Don’t Touch with Sparse Autoencoders for Unlearning in Diffusion Models（arXiv preprint / 2026）。

这篇论文解决的不是一般意义上的 diffusion model concept erasure，而是 SAE-based unlearning 里一个更具体、更尖锐的问题：SAE latent 能否既作为 concept detector，又作为可直接操控的 intervention handle。作者的答案基本是否定的。

真正困难点在于 diffusion model 的中间 activation 不是任意线性空间里的语义坐标，而是 denoising dynamics 约束下的高维流形。SAE 可以把某些 patch / timestep 上的概念激活分离出来，但一旦沿 decoder direction 做负向 multiplier，得到的 activation 未必仍是 UNet 在训练/推理中会自然产生的状态。以前方法卡住的地方正是这里：它们把“可解释的 feature”误当成“可安全干预的 control knob”。

这个任务的关键矛盾是：概念删除需要强干预，但图像质量要求 activation 不能离开原模型分布。SAE steering 在这两个目标之间很难平衡：弱 steering 保留概念，强 steering 破坏图像。论文的贡献是把这个矛盾显式化，并提出一种不直接 steering SAE latent 的替代路线。

Motivation

已有 SAE unlearning 路线的隐含假设是：如果一个 latent monosemantically 对应 horse / nudity / object，那么降低或反向放大这个 latent 就等价于删除该概念。这个假设在语言模型 steering 中已经被质疑；本文把同类 failure mode 放到 diffusion activation space 中系统验证。

作者的核心观察是：SAE 的 detection 能力和 intervention 能力不是同一件事。SAE latents 确实能在 feature map 上定位目标物体，而且定位效果相当好；但通过 SAE reconstruction 或 decoder direction 改写 activation，会产生分布外激活、L2 norm heavy tail 和肉眼可见 artifact。

因此缺口不是“还需要更强的 SAE”或“还需要更精细的 multiplier search”，而是需要一种机制把语义定位与表示改写解耦。论文的方向来自一个很朴素但重要的判断：既然 SAE 可靠的是看见概念，而不是安全地改变概念，那就只让它看，不让它碰。

Core Idea

核心思想是把 SAE 从生成控制器降级为语义探测器。SAE latents 只用于产生目标概念的 spatial mask；一旦确定哪些 patch embedding 含有目标概念，论文不再沿 latent direction 做 subtraction，而是用同一 feature map 中未被检测为目标概念的 patch embedding 替换这些位置。

这个改变的本质是从“latent-space extrapolation”转向“in-sample activation reuse”。Prior SAE steering 在表示空间中构造一个模型未必见过的 activation；PER 则复用当前 forward pass 已经由 diffusion model 生成的 activation。它引入的 inductive bias 是：删除概念时宁可牺牲局部语义一致性，也不要破坏 denoising network 的 activation manifold。

这也重新组织了信息流：SAE 不再承担生成目标 patch 的责任，只承担判别目标 patch 的责任；生成模型自身仍提供所有 replacement activation。这个 bias 比 multiplier tuning 更 scalable 的地方在于，它不需要每个概念搜索 intervention strength，也不依赖 SAE decoder direction 真正构成可线性操控的语义轴。

Method

方法的机制层面可以压缩成三步。

第一，训练或复用 SAE 读取 diffusion UNet cross-attention residual stream 的 patch-level activation。它解决的是概念 localization 问题，而不是生成编辑问题。这里 SAE 的价值在于把 dense activation 中的概念相关响应转成可阈值化的 sparse latent signal。

第二，用 concept-latent score 建立概念到 SAE latent 的映射，并在 inference 时生成 binary detection mask。这个 mask 是方法的核心中介变量：它把“要删什么”变成“哪些 spatial positions 需要被处理”。阈值使用 dataset mean activation，机制上是为了避免对所有弱响应过度干预。

第三，Patch Embedding Replacement：对 mask 标记的位置，用同一 feature map 中未标记位置的 embedding 随机替换；可对 mask 做 dilation 覆盖邻域泄漏。它解决的是 steering 的 OOD 问题：不是构造新 activation，而是从模型自己刚产生的 activation 中抽取替代项。fallback 到 noise 只是边界情况，不是核心机制。

这里最重要的不是 patch replacement 的具体采样策略，而是“所有注入 activation 都来自当前 denoising forward pass”。这让方法天然避开 SAE decoder reconstruction 的分布错配。

Key Insight / Why It Works

最关键 insight 是：在 diffusion models 中，SAE latent 的 monosemanticity 只保证可检测性，不保证可干预性。这个区分很重要，因为很多 interpretability-to-control 工作默认二者连续：能解释一个 feature，就能操纵它。本文表明至少在 diffusion unlearning 中，这个跳跃不成立。

PER 有效的最可能原因不是它更懂“概念”，而是它更尊重 activation manifold。Multiplier-based steering 本质是在 latent/decoder direction 上做外推；强负 multiplier 会制造模型原本不会产生的 hidden states。PER 则是 memory reuse / retrieval-like 的机制：从当前样本内部检索非目标 patch activation 来填补目标区域。它的优势来自 representation alignment 和 in-distribution substitution，而不是更强的语义推理。

核心贡献应归因于 detection-intervention separation。SAE detection、mask dilation、random replacement 都是服务于这个框架的组件；其中 SAE training recipe 和不同 SAE backbone 更像工程适配。padding 也主要是 coverage heuristic，用来补偿概念在 feature map 中的空间扩散，不是理论创新。

随机替换优于 nearest replacement 这个结果值得注意：它暗示局部空间邻近并不一定是最佳替代，可能因为 nearest concept-free patch 仍含有残余目标信息或过于相关；随机采样引入的多样性反而更能破坏目标概念连续结构。但这里机制解释文中未充分说明。

如果直接判断，PER 更像一种 activation-level inpainting / retrieval，而不是严格 unlearning。它不消除模型关于概念的知识，只是在生成过程中发现概念并局部遮断其传播。所谓 unlearning 在 deployment 语义上更接近 test-time suppression。

Relation To Prior Work

最接近的路线是 SAeUron、SAEmnesia、G-SAE 以及 SDXL Turbo 上的 SAE editing，它们都试图把 SAE latent 当作可解释的概念旋钮。本文和它们的本质差异不是用了新的 SAE，而是拒绝使用 SAE latent 做 steering。

相对 fine-tuning / closed-form weight editing 方法，PER 属于 inference-time activation intervention，不修改模型权重，因此更轻、更可插拔，但也更不像真正的 machine unlearning。它的删除效果依赖每次生成时检测并替换，而不是模型能力层面的遗忘。

从技术谱系看，它更接近“interpretability-guided test-time masking / replacement”而不是“SAE-based representation editing”。看似新的是 SAE + patch replacement 的组合；实质创新是把 mechanistic interpretability 的输出从 intervention direction 改造成 routing / masking signal。

和已有 object removal / inpainting 思想相比，PER 也不是完全凭空出现：用非目标区域的信息替换目标区域是一种经典 inductive bias。但它的新信息在于，这个替换发生在 diffusion hidden activation space，并且 mask 来自 SAE concept latents，而不是像素空间 segmentation 或 attention map。

Dataset / Evaluation

评估覆盖了 UnlearnCanvas object unlearning、NSFW removal、SD v1.5 / SDXL Turbo、多种 SAE pipeline，以及 adversarial prompt attack。这个覆盖范围足够支撑论文的核心 claim：PER 不是只对单一 SAE baseline 有效，且 artifact reduction 不是偶然现象。

最强证据不是平均分提升，而是 activation distribution 与 artifact rate 的组合。作者证明 prior SAE steering 会系统性地产生 OOD activation，并用 VLM 与 human study 连接到视觉 artifact。这直接验证了“检测有效、干预有害”的主张。

但 benchmark 也有明显边界。UnlearnCanvas 是 stylized object benchmark，目标概念通常有空间局部性，因此非常适合 patch-level replacement。NSFW 也有一定局部性。它们不能充分证明 PER 对风格、身份、版权画风、关系概念、动作或全局属性同样成立。

VLM-based artifact rate 是有用补充，但仍可能受 prompt 和 VLM 偏好影响；human study缓解了这一点，但规模有限。Global Average 把 AR 纳入平均分是合理的，因为 prior 方法确实可能用破坏图像换取 unlearning score；但这个新 aggregate metric 也会改变方法排序，不能单独作为 unlearning 能力的证据。

Adversarial robustness 结果并不单向：在 SAeUron 上 PER 更脆，在 SAEmnesia 上更稳。这说明 PER 不是通用鲁棒性机制，鲁棒性主要受 detector quality 和 attack 是否能绕过 mask 影响。

Limitation

最大限制是它依赖局部可替换性。目标概念必须在某些 patch 上被 SAE 检测出来，并且同一 feature map 里必须存在足够合理的 concept-free patch 可供替换。如果目标概念覆盖全图、是全局风格、构图属性、身份一致性或多对象关系，PER 的假设会明显变弱。

第二，它不是严格 unlearning。模型权重没有改变，文本条件到概念生成的能力仍在；方法只是运行时拦截相关 activation。对于安全部署，这意味着攻击者可能通过 prompt、构图、遮挡、组合概念或 timestep/layer 漏洞绕过 detector。

第三，增益归因仍有不清晰处。PER 改善 GA 很大一部分来自 artifact rate 降低，而不是所有场景下 UA 提升。也就是说，它更明确地解决了“steering 破坏图像”的问题，而不一定更彻底删除概念。

第四，mask quality 是瓶颈。文中承认 per-concept AR 差异反映 SAE detection quality，但没有充分展开检测失败时的系统行为。漏检会残留概念，误检会破坏非目标内容；padding 只是 heuristic，不能从根本上解决语义边界不确定性。

第五，same-feature-map replacement 只能保证边际 activation 更接近 ID，不保证空间上下文联合分布完全合理。文中 0.A.9 显示 replacement distribution 更接近原分布，但这不是严格证明 patch 放到新位置后仍在 conditional manifold 上。

最后，方法的 scaling 上限可能由数据覆盖和 SAE concept dictionary 决定。若概念词表扩大、概念更抽象或缺少标注/正负样本，concept-latent identification 的成本和可靠性会成为主要问题。

Takeaway

• 1. SAE 在生成模型中的最稳妥用途可能首先是 detection / localization，而不是 control。
• 把 interpretable feature 直接当 steering handle 是过强假设。
• 2. 对 diffusion unlearning 来说，保持 activation manifold 可能比找到更“语义纯”的方向更重要。
• 很多 artifact 本质是 distribution shift，不是 unlearning objective 本身失败。

一句话总结

这篇论文在 SAE-based diffusion unlearning 中给出的核心推进是：把 SAE 从“可控语义旋钮”重新定位为“概念探测器”，并用 in-distribution patch activation replacement 替代 latent steering，从而揭示并绕开了 monosemantic feature 到安全干预之间的关键断层。