精读笔记

Problem Setting

这篇论文实际解决的是 CPG 中的身份级“服务端可删除性”：给定一个已部署的个性化人像生成器，用户请求删除某个身份后，模型仍应服务其他身份，但不能再稳定复现该人的身份特征。这里的困难不在于让某次输出变丑或随机，而在于删除一个身份条件映射，同时保持 CPG 的编辑性、身份保持能力和通用生成能力。

以前方法卡在两个地方。图像级防护只能保护被加扰的图片，对已流通照片、偷拍图、第三方来源无能为力；U-Net/denoiser 级 unlearning 虽然更接近“模型遗忘”，但会直接触碰扩散模型的生成先验，容易把个体身份删除问题变成全局质量退化问题，而且绑定特定生成器。这个任务的核心矛盾是：身份信息必须被削弱，但身份条件通道本身也是 CPG 保真和可编辑的基础设施。

Motivation

作者的动机不是提出一个更复杂的 unlearning objective，而是重新选择遗忘发生的位置。CPG 中很多现代方法把身份信息先压进 CLIP image embedding，再由扩散模型消费这个条件。既然身份注入的入口在 encoder，直接改 denoiser 是过度干预：它既不利于跨生成器迁移，也容易破坏与身份无关的生成能力。

核心观察是全局 encoder perturbation 虽能压低目标身份相似度，但会伤害其他身份的保真度。这说明问题不是“encoder 能不能遗忘”，而是“能不能只动身份相关的那部分表征”。关键缺口因此变成：如何在没有显式身份维度标注的 CLIP-like embedding 中找到可局部操作的身份子空间。

Core Idea

IREU 的真正核心是把身份遗忘建模为 embedding space 中的局部身份子空间重映射，而不是 diffusion model 内部的概念擦除。它借助 Face-Swap 构造近似干预：保持背景、姿态、上下文相似，只改变身份，然后用原图与换脸图的 encoder 差分作为“身份敏感维度”的观测。之后只在这些维度上把目标身份推离原始表示，对其他身份则蒸馏回原 encoder 输出。

这个思想的直觉基础是：如果 CPG 主要从 image embedding 中读取身份条件，那么破坏目标身份在身份敏感维度上的可读性，就足以让下游 diffusion backbone 生成不同身份；同时保留非身份维度可以减少外观、质量、风格和编辑能力的副作用。和 prior 的本质区别在于它不修改生成先验，而是修改条件接口；它引入了“身份维度局部性”的 inductive bias，因此比 U-Net 级删除更容易迁移，也比全局 feature push 更不容易造成 retained identity collapse。

Method

第一，Face-Swap 差分用于回答“哪些 embedding 维度承载身份变化”。这一步的机制价值在于把不可见的身份因素转成可观测的 feature delta；它不是为了生成训练数据，而是为了给表征空间建立一个身份相关 mask。

第二，masked identity transformation 用于回答“目标身份应该被推到哪里”。论文不是简单最大化目标样本与原 encoder 输出的距离，而是沿 Face-Swap 诱导出的身份差分方向构造虚拟身份点。这个设计避免了无方向的 adversarial drift，使遗忘更像受控身份替换，而不是特征空间破坏。

第三，retaining loss 用于维持 encoder 的公共接口。它把未删除身份的输出约束回原 encoder，确保冻结的 diffusion model 仍能按原来的协议消费 image embedding。这个约束是 encoder-only 方案成立的前提，否则即使目标身份被删除，整个 CPG pipeline 也会因条件分布漂移而退化。

Key Insight / Why It Works

最可能的核心贡献是“Face-Swap induced identity subspace + masked encoder remapping”。这不是 scaling，也不是 retrieval；更像利用外部可控干预获得 latent structure，再把 unlearning 限制在这个结构上。它有效的原因在于 CPG 的身份条件流高度依赖 encoder embedding，而身份信息在该 embedding 中并非完全分布式、均匀耦合；只要找到相对稳定的高敏感维度，局部扰动就能显著改变下游生成身份。

全局 baseline 失败很关键：它证明 encoder-only 本身不够，必须加上身份局部性的 inductive bias。IREU 的提升大概率主要来自 representation alignment 和局部化约束，而不是 loss 设计复杂度。保留身份上的大幅改善说明 mask 起到的作用不是小修小补，而是在限制模型更新的自由度，避免 encoder 为了遗忘少数身份而整体重排 embedding manifold。

但这里也有不应忽视的风险：Face-Swap 差分未必是纯身份差分，可能混入换脸器的纹理、边界、年龄性别偏差或图像质量变化。论文用 mask overlap 说明不同 swap target 下有一定稳定性，但这只能说明维度选择稳定，不能证明这些维度语义上就是身份。另一个问题是评估主要用人脸识别模型和生成前后相似度，容易把“不像原图”当成“真正不可复现该身份”；如果攻击者改变 prompt、使用多参考图或后处理，人类可识别身份是否仍被抑制，文中未充分说明。

Relation To Prior Work

它最接近三条线：扩散模型概念擦除、身份级 generative unlearning、以及 CPG 的 encoder/adapter 条件控制。和 ESD/UCE/MACE 这类概念擦除不同，IREU 不在 cross-attention 或 denoiser 参数中直接改概念知识，而是在身份条件入口处改表示；因此它删除的是“特定身份作为条件信号的可用性”，不是模型所有内部关于该身份的视觉知识。

和 GUIDE/BIA/APDM 等身份遗忘相比，本质差异是作用层级。BIA 通过 U-Net bottleneck 吸收身份表示，仍然是 generator-specific；APDM 更偏 fine-tuning-based personalization 防护，和当前 tuning-free CPG pipeline 的接口不完全匹配。IREU 的实质创新在于把 CPG unlearning 的对象从生成器主体转移到共享 image encoder，并用 Face-Swap 作为身份子空间定位工具。

看似新的部分里，retaining distillation 和 feature masking 都不是新思想；它们是已有 unlearning/representation editing 中常见的约束形式。真正新增的信息是：在 CPG 身份遗忘这个问题上，Face-Swap 差分可以作为一个足够有效的身份维度探针，并且 encoder-only 修改在共享 encoder pipeline 中能产生可迁移删除效果。

Dataset / Evaluation

评估覆盖了单身份、多身份、未见同身份图、保留身份质量，以及跨 PhotoMaker / FastComposer multi-subject 的迁移，基本围绕论文最重要的 claim 展开：目标身份要忘，其他身份要保，encoder 要能复用。相对很多只看 target suppression 的 unlearning 工作，这里的 retained identity 和 generation-space 指标更有针对性。

但 benchmark 仍偏离真实 deployment。CelebA-HQ/CelebA 是干净、中心化、名人式人脸分布，不能代表真实用户上传图的遮挡、低清、极端姿态、妆容、年龄变化和跨域照片。跨生成器实验也主要是同类 CLIP image encoder / 相似 CPG pipeline 的迁移，不能证明方法对任意商用生成器成立。人工评估规模很小，且主要比较前后身份是否相同，不足以评估恶意规避、长尾身份、群体偏差和法律意义上的删除。

总体上，实验充分支持“局部 encoder unlearning 比全局扰动和特定 BIA baseline 更好”，但还没有充分支持“真实世界可部署的身份删除机制”这个更强叙述。

Limitation

第一，方法把问题从“如何在 diffusion model 中删除身份”转移成“Face-Swap 能否可靠提供身份干预”。如果 Face-Swap 失败、引入伪影或在某些人群上偏置，mask 学到的可能不是身份维度。文中未充分说明这一点。

第二，identity-related feature 的局部性是假设，不是理论保证。CLIP embedding 中身份、年龄、性别、发型、表情、摄影风格很可能纠缠；top-k delta 只能给出相关维度，不能保证因果可编辑维度。所谓“identity-agnostic dimensions”更像经验近似。

第三，scalability 上限不清楚。fiveID 不能说明大规模删除请求下 encoder 是否会累积漂移；不同目标身份的 mask 可能重叠，长期在线删除可能导致公共 identity manifold 被侵蚀。这个问题在真实服务中比单次 one-shot 更关键。

第四，泛化主要发生在共享 encoder 协议内。若下游 generator 重新训练了 adapter、使用不同 encoder family、融合多模态身份特征，encoder-only 删除可能失效。论文中的 plug-and-play 是有条件的，不应被理解为跨任意 CPG 系统的通用遗忘。

第五，安全性评估不足。强攻击者可使用多张目标图、不同裁剪、face enhancement、identity adapter、LoRA 重个性化或外部检索图像绕过。论文验证的是普通输入下的 suppression，不是 adversarial privacy guarantee。

Takeaway

• 1. CPG 身份遗忘最值得优先考虑的层级可能不是 denoiser，而是身份条件接口；这会成为更可部署的 unlearning 方向。
• 2. Face-Swap/attribute intervention 这类外部可控变换可以作为 representation editing 的弱监督来源，用来发现可操作的因果近似子空间；这个 insight 可迁移到属性删除、风格删除、医学隐私特征删除等问题。
• 3. 这篇真正推动的是“局部表征约束下的模型侧隐私删除”，而不是提出了复杂优化算法。
• 未来更值得做的是把身份子空间从经验 top-k delta 推向更稳健的因果/分布鲁棒估计。

一句话总结

IREU 是一篇把 CPG 身份遗忘从 generator-specific denoiser editing 推向 shared encoder representation editing 的工作，真正贡献在于用 Face-Swap 诱导身份局部子空间，从而以更小的接口级修改实现可迁移但仍有强前提的身份删除。