精读笔记

Problem Setting

论文标题：Unlearning in Diffusion Models: A Unified Framework with KL Divergence and Likelihood Constraints（arXiv preprint / 2026-06-01）。

这篇论文实际解决的是扩散模型 unlearning 的 tradeoff control 问题：在尽可能不偏离预训练分布 q 的情况下，使生成分布 p 与一个或多个待遗忘分布 q_u^i 显式分离。关键矛盾不是“能不能擦掉某个概念”，而是擦掉目标的同时不把相邻 retained modes 一起损坏。

以前方法卡在两个点：第一，retention 与 forgetting 通常被写成 weighted sum，权重既不是用户真正想指定的遗忘强度，也不具备跨任务可解释性；第二，多目标遗忘时 equal weights 很容易让容易擦的目标被过度处理、难擦的目标仍未满足约束。本文把这个问题重写为 constrained optimization：用户指定 separation / likelihood threshold，算法学习对应 dual weights。

真正困难点在理论上是 KL 下界约束给出的是非凸 feasible set，常规凸优化不能直接给强对偶；在实现上则是扩散模型并不能直接访问完整密度，只能通过 score、path KL、likelihood ratio 等近似对象操作。

Motivation

已有路线的问题不在于缺少 forgetting loss，而在于缺少“遗忘程度的控制变量”。固定 penalty weight 的语义很弱：lambda 大不等于遗忘强，多个目标共享 lambda 更不等于均衡遗忘。对研究者而言，这使实验曲线看似可调，但部署时很难回答“这个模型是否满足某个明确 unlearning requirement”。

作者的核心观察是：unlearning 更自然地应该是一个约束问题，而不是正则化问题。保留能力对应最小化相对预训练模型的偏移；遗忘能力对应与 unlearning distribution 的距离下界或生成样本上的 likelihood 上界。这样 dual variables 不是人工超参，而是约束边界处的 shadow prices。

关键缺口是理论正当性：如果只是把 weighted sum 换成 Lagrangian，并不能说明得到的是正确 tradeoff。本文试图补上这一点：即使 RU/FU 的 KL 约束非凸，也可以利用 nonatomic vector measure 的 image convexity 建立强对偶，从而把 dual optimization 作为 principled solver 而不是另一个 heuristic。

Core Idea

核心思想可以概括为：先在分布空间定义理想 unlearning target，再让扩散模型去近似这个 target。三种 formulation 的差别不是 implementation trick，而是它们诱导的 target 几何不同。

RU 的 target 形如 q 的幂除以 q_u 的幂，因此会在 q_u 高密度区域强烈降权；这与 concept erasing / negative prompt composition 的能量比值直觉一致。FU 的 target 形如 q - sum lambda_i q_u^i，更像从数据分布中扣除待遗忘样本/子分布，对 data unlearning 更自然。LU 的 target 形如 q exp(-sum lambda_i q_u^i)，是对 q 做指数倾斜，只在 q_u likelihood 高的区域下压，相比 RU 的 reciprocal ratio 更局部、更平滑。

本质区别在于：prior 通常先选一个 penalty weight，然后观察遗忘结果；本文先规定遗忘约束，再通过 dual variables 找到最小 retention damage 的 penalty。这个 inductive bias 对多目标尤其重要，因为它允许不同 q_u^i 自动获得不同权重，避免 equal-weight baseline 的系统性过擦除。

Method

1. Reverse KL-constrained unlearning：解决 concept-level erasure 中“远离概念分布但保留原模型”的问题。目标是 minimize D_KL(p||q)，约束 D_KL(p||q_u^i) >= b_i。它需要 access 到 unlearning concept 的模型/分布，因为 target 本质是分布比值。核心变化是把 concept erasing 的 ratio target 解释为某个 constrained problem 的最优解，而不是经验构造。

2. Forward KL-constrained unlearning：解决 sample/data unlearning 中“降低忘记样本 likelihood”的问题。目标是 minimize D_KL(q||p)，约束 D_KL(q_u^i||p) >= b_i。由于 forward KL 对数据分布取期望，扩散中可以落到 score matching / likelihood-style loss。核心变化是让每个待忘样本的权重由约束违反驱动，而不是固定相同权重。

3. Likelihood-constrained unlearning：解决 RU 可能过度扰动 retained modes 的问题。它仍用 reverse KL 保留 q，但把遗忘约束改为 E_p[q_u^i] <= epsilon_i。这样 target 是指数倾斜 q exp(-lambda q_u)，对 q_u 高 likelihood 区域做局部压制，而不是像 reciprocal ratio 那样对低 likelihood 区域也产生较强全局形变。

4. Strong duality + primal-dual：这是方法的理论支点。RU/FU 非凸但通过 Lyapunov/Olech 类的 nonatomic vector measure convexity 证明强对偶；LU 在分布空间本身凸。扩散实例化后用 primal-dual 近似求解，dual step 根据 constraint violation 更新 lambda。机制上，这相当于让模型只在约束未满足的目标上增加 forgetting pressure。

Key Insight / Why It Works

最重要的 insight 是：unlearning 中真正需要调的不是 loss weight，而是 constraint satisfaction。固定权重方法失败的根因不是优化器不好，而是 penalty weight 与遗忘程度之间没有稳定映射；同一个 lambda 在不同概念、不同样本、不同 overlap 情况下对应完全不同的分布位移。本文把 lambda 变成 dual variable 后，权重自动反映每个约束的边际代价，这解释了多样本 unlearning 中“难忘样本权重大、易忘样本权重小”的现象。

第二个 insight 是三种 target 的几何差异。RU 的 reciprocal ratio 很强，适合想把生成分布从某个概念能量 basin 中推开，但容易把附近 retained modes 也挤走。LU 的 exponential tilt 更像 soft barrier，只惩罚 q_u likelihood 高的区域，因此在 retained 与 forgotten 有局部重叠但不完全纠缠时更保守。这个差异比论文中的算法细节更值得迁移。

第三个 insight 是 strong duality 的作用主要是“解释 target 与 dual weights”，而不是保证实际深网训练最优。论文的理论贡献在分布层很干净，但扩散实现仍是近似求解。真正有效的工程来源大概率是 dual weighting + smoother target，而不是模型结构或 scaling。实验增益不应解读为“unlearning 已被解决”，而应解读为“约束式权重学习比固定权重更合理”。

辅助部分包括 likelihood estimation、pathwise KL 近似、LoRA fine-tuning 等。这些是必要工程桥接，但不是核心思想。尤其 LU 的 likelihood 估计在大模型上不稳定，文中只报告 convergent runs，说明该部分还不是成熟工具链。

Relation To Prior Work

最接近的路线有三类。第一是 concept erasing / ESD / negative composition 类方法，它们常隐式使用类似 q/q_u 的能量比值。本文的新增点不是发现 ratio target，而是证明该 target 可以作为 reverse-KL constrained problem 的最优解，并给出 dual threshold 解释。

第二是 data unlearning in diffusion，例如对 retain data 做下降、forget data 做上升的 weighted-sum 方法。本文的 FU 基本把这类方法提升为 constrained formulation：q - sum lambda q_u 的差分 target 与 gradient ascent on forget samples 是同一谱系，但 dual variables 替代了人工 equal weights。

第三是 constrained diffusion / constrained learning。本文属于 expectation-level constrained generation 的谱系，但特殊之处在于 unlearning 的 KL 下界约束在分布空间非凸；作者用 nonatomic vector measure convexity 绕过常规凸性要求。这是比较实质的理论新增。

看似新的部分中，regularized interpretation 并不新；Lagrangian penalty 与 constrained form 的等价是标准思想。真正有价值的是：把三类 diffusion unlearning objective 放到同一分布优化框架下，并明确指出 ratio、difference、exponential tilt 分别对应不同 unlearning 几何。

Dataset / Evaluation

实验覆盖了 toy Gaussian mixture、Stable Diffusion 文本到图像概念遗忘、CelebA-HQ 上的 memorized sample removal。任务类型覆盖 concept-level 与 data-level，但规模和真实性仍有限。没有看到跨模态、真实版权请求、大规模多概念安全策略、持续更新部署等更接近实际 unlearning 的设置。

评估主要看 retention–unlearning tradeoff 曲线，而非单点指标。这是合理的，因为论文核心 claim 就是 constrained formulation 改善 tradeoff。结果确实支持：在相同遗忘强度下，dual-constrained 方法比固定权重 baseline 更少偏离预训练模型。

但 evaluation 没有完全验证理论 claim。强对偶是分布层结论，实验只能说明近似算法在几个设置上有效。Stable Diffusion likelihood-constrained 实验还存在明显稳定性选择：文中说明优化 expected likelihood 有时发散，只报告 convergent runs，这会削弱 LU 在真实大模型上的说服力。KID、CLIP、SSCD 都是间接指标，不能证明真正删除训练影响或抗再学习能力。

Limitation

核心前提很强。RU 和 LU 需要 unlearning distributions 可由模型或 likelihood proxy 表示；FU 至少需要 sample access。现实 unlearning 请求往往只有少量样本、自然语言描述或法律实体，而不是干净的 q_u 分布。

理论上，强对偶依赖连续非原子空间、可行性、绝对连续性、以及足够 expressive 的 score class。实际扩散模型尤其是 LoRA fine-tuning 远远不是任意分布优化器。论文承认 parametrization gap，但没有给出该 gap 的可计算界或诊断方法。若 retained 与 forgotten 高度纠缠，最优解可能本身就需要显著破坏 q，方法不会魔法般避免 tradeoff。

scalability 上限主要在估计与优化：reverse KL/path KL、likelihood ratio、expected likelihood reward 都不便宜且噪声大；多约束下 dual variables 可能振荡。threshold tuning 也没有消失，只是从 penalty weight tuning 换成 b_i/epsilon_i 选择。虽然 threshold 更有语义，但如何映射到“不能生成某类侵权图像”的真实约束，文中未充分说明。

LU 的增益归因也不完全清楚。它可能确实来自更合适的 exponential tilt，也可能部分来自更温和的目标形状、较弱约束、筛选 convergent runs 或评价指标偏好。文中没有足够 ablation 去隔离这些因素。

Takeaway

• 1. 扩散 unlearning 更应该被看作 constrained distribution editing，而不是 loss engineering。
• 以后有价值的工作应直接建模用户可解释的遗忘约束，而不是继续堆 penalty weights。
• 2. 不同 unlearning 目标诱导不同分布几何：ratio 适合强概念排斥但会更全局；difference 适合样本/数据删除；exponential tilt 适合局部降低 undesired likelihood。
• 这个分类比具体算法更可迁移。

一句话总结

这篇论文把 diffusion unlearning 从经验性加权损失推进到约束化分布优化框架，真正贡献是用强对偶解释并学习 retention–forgetting tradeoff，而不是提出新的扩散结构。