精读笔记

Problem Setting

[PPE-Bench: A Benchmark for Evaluating MLLM Unlearning under Private-Public Entanglement]（arXiv preprint / 2026）。这篇论文实际解决的是 MLLM unlearning 中的选择性遗忘问题：不是简单让模型忘掉某个私有个体，而是在同一张图里忘掉私有主体，同时保留与其共现的公共人物和地标。真正困难点在于 forget 与 retain 不再是样本级可分的两个集合，而是在视觉 token、跨模态对齐和 instruction tuning 后的 latent representation 中耦合。以前 benchmark 把 retain set 放在无关样本上，导致方法只要不破坏一般能力就看起来不错，但无法暴露“擦掉一个人时顺手擦掉旁边公共信息”的问题。关键矛盾是：遗忘需要沿着私有身份相关方向更新参数，而这些方向很可能同时编码了共现场景、位置、公共人物属性和视觉上下文。

Motivation

已有路线不够的原因不是缺少 unlearning objective，而是 evaluation setting 过于 separable。CLEAR、MLLMU-Bench、PEBench 等主要测试 isolated identity 或相对独立的场景，默认 forget data 和 retain data 可以通过样本划分隔离；这与真实隐私请求不一致，因为现实照片中的隐私对象通常嵌在公共事件、公共人物、公共地点中。作者的核心观察是：如果 benchmark 不显式构造 private-public entanglement，就无法判断 unlearning 是否具备局部选择性。关键缺口是 adjacent public information retention，而不是普通 retain utility。换句话说，论文缺的不是更难的身份识别题，而是一个能测出 representation collateral damage 的评估切面。

Core Idea

核心思想是把 MLLM unlearning 的评估单位从“样本集合”推进到“同一样本内的信息成分”。PPE-Bench 让每张图同时包含待忘的 fictitious individual、应保留的 public celebrity 和 landmark，然后把问题拆成 forget、retain、adjacent 三种查询目标。这样，benchmark 不再只问模型是否忘了私有属性，也问模型是否仍能回答同图公共信息。这个建模变化很关键：它把 unlearning 的目标从 global utility preservation 变成 local disentanglement under shared evidence。

理论直觉上，这会比 prior 更能暴露方法上限，因为现有 GA/NPO/GD/KL 大多是 loss-level 操作，并不显式知道哪些视觉区域或语义成分应被擦除。PIP 和 blurring 的本质区别也在这里：PIP 用 adjacent supervision 把公共知识作为 anchor，blurring 用空间变换给优化过程加入区域分离 bias。它们不是从根本上解决 unlearning，而是在训练信号中重新组织信息流，让 forget 梯度更少污染 public-context 表征。

Method

方法只需要看机制，不需要看训练细节。第一，PPE-Bench 引入 adjacent set，解决 retain set 过于粗粒度的问题。retain set 测的是无关个体上的 general utility，adjacent set 测的是与被忘主体同图共现的公共信息；这个区分是论文最重要的设计。

第二，PIP 在标准 GD 类目标上增加 adjacent loss。它要解决的是 unlearning 梯度对公共实体/地标的 collateral forgetting。为什么需要它：因为只保护 retain set 不能约束同图公共信息，GD 保留 unrelated utility 不等于保留 adjacent knowledge。核心变化是把公共信息从评估项变成优化锚点。

第三，target-guided blurring 用目标区域标注构造两种视图：forget 时保留目标、模糊上下文；preserve 时模糊目标、保留上下文。它解决的是视觉证据混在一起导致梯度难以定向的问题。核心变化不是 blur 本身，而是把空间 locality 作为 inductive bias 注入 unlearning，使模型在优化时更少依赖目标外上下文来执行遗忘。

第四，relearning evaluation 是一个重要补充：在 public information 上继续 finetune 后观察 private knowledge 是否回升。它测试的不是普通 robustness，而是 unlearning 是否真的删除了 latent memory，还是只把输出概率压低。

Key Insight / Why It Works

最重要的 insight 是：MLLM unlearning 的失败不主要体现在 retain set utility，而体现在同一样本内的 semantic collateral damage。现有方法能把 forget accuracy 打低，但这并不意味着模型学会了“只忘目标”。它们更可能是在共享视觉-语言表征上做粗暴扰动，因此公共人物和地标这类相邻信息也被破坏。

PIP 有效的原因很直接：它把 adjacent public facts 作为负反馈约束，阻止参数更新过度偏离这些输出所需的表示方向。这属于 representation anchoring，不是新的 unlearning 机制。它的问题也同样明显：如果公共信息和私有身份共享特征，保护 adjacent 表征自然会保留部分恢复私有身份的路径，因此遗忘变弱不是偶然现象，而是目标冲突的直接表现。

Blurring 更有机制价值。它引入的是 spatial disentanglement bias：让 forget objective 主要看目标区域，让 preserve objective 主要看非目标区域。相比 PIP，它少依赖语义级公共 QA 覆盖，但仍依赖 bbox/mask。它可能比 PIP 更可迁移，因为许多 privacy requests 确实有局部目标区域；但它并没有证明模型内部真的形成可分因子，只是通过输入干预降低梯度混叠。

relearning 结果是这篇论文最值得注意的证据：public finetuning 后 private knowledge 回升，说明很多 unlearning 方法本质上更像 suppression 或 decision boundary perturbation，而非 representation erasure。这里应当直接判断：现有 MLLM unlearning 在该设置下大概率没有删除知识，只是让模型在当前测试分布下不输出。所谓遗忘的稳定性仍然很弱。

增益来源方面，PPE-Bench 的贡献主要来自 evaluation design 和 data construction，而不是算法。PIP 是 GD 的自然扩展，blurring 是区域增强/遮蔽思想在 unlearning 里的应用。算法增益可能主要来自更好的 inductive bias 和 hidden supervision，而非更强优化理论。

Relation To Prior Work

这篇最接近的是 MLLM unlearning benchmark 线，包括 MLLMU-Bench、CLEAR、PEBench，以及方法上的 GA/NPO/GD/KL 系列。真正不同点不是也用了 synthetic identity 或 multimodal QA，而是把 retain target 放进 forget image 的同一视觉上下文中，形成 private-public entanglement。这个设置给 benchmark 新增了一个 previously missing axis：adjacent public retention。

看似新的 PIP，本质上是 GD/KL retention-aware unlearning 的局部化版本：把 retain constraint 从 unrelated retain set 扩展到 adjacent public set。它不是算法谱系上的新分支，而是 evaluation-aware objective。Blurring 则属于 input-space intervention / region-guided disentanglement，与遮挡、masking、counterfactual augmentation 的思想更接近。它的实质创新在于把这种区域解耦用于 unlearning 的梯度定向，而不是模型结构本身。

因此，这篇论文在技术谱系上更应被看作 benchmark-driven diagnosis paper，而不是 unlearning method paper。它真正新增的信息是：过去 benchmark 高估了 unlearning 方法的选择性，因为没有测同图公共信息损伤；同时，public-only relearning 能恢复 private knowledge，暴露了 suppression 与 erasure 的差距。

Dataset / Evaluation

PPE-Bench 覆盖了一个比 prior 更贴近真实照片的场景：私有个体、公众人物、地标共现，并提供 seen/unseen image tests、forget/retain/adjacent 三类查询，以及 relearning probe。这个设计确实能验证论文的核心 claim：标准 unlearning 会伤害相邻公共信息，普通 retain set 不能代表局部保留能力。

但 evaluation 仍有明显边界。数据是生成式合成图，且场景模板非常固定，公共人物和地标数量有限，不能代表真实 web-scale photo distribution。QA 以属性模板和 keyword matching 为主，可能低估复杂语义保留，也可能引入位置、模板、实体频率 shortcut。seen-image 和 unseen-image 的区别有价值，但 unseen 仍来自同一生成管线，不能证明跨生成器、真实相册、新闻图或社交媒体图像上的泛化。

更重要的是，benchmark 验证了“现有方法会 collateral damage”，但没有完全验证“提出的方法真正 disentangle 了 private/public representation”。PIP 的提升可能来自直接监督 adjacent QA；blurring 的提升可能来自 mask supervision 和更干净的优化视图。增益来源不清，尤其没有足够证据区分视觉区域解耦、语言先验保留、模板记忆和 LoRA 更新限制的贡献。

Limitation

核心前提一：私有目标可以被定位。Blurring 需要 bbox 或 mask，这在真实部署中并不总是可得；多主体、遮挡、反射、群体照和事件照片会让目标区域定义本身变得模糊。若定位错了，方法可能既忘不干净又破坏上下文。

核心前提二：adjacent public information 可枚举。PIP 需要知道哪些公共信息应保留，并构造对应 QA。现实中一张图的公共信息开放集很大，包括事件、物体、文本、背景关系、动作和社会语境，人工或自动标注成本很高。因此 PIP 可能只是把 unlearning 难题转移成 adjacent annotation 问题。

核心前提三：合成 entanglement 能代表真实 entanglement。文中未充分说明生成图中的身份、公众人物和地标是否在视觉上真的形成深层纠缠，还是只是并排拼接式共现。如果只是空间并置，blurring 的优势会被放大；真实场景中的交互、遮挡、共享物体和关系语义会更难。

泛化上限也很明显。100 个 fictitious individuals、28 个 celebrities、40 个 landmarks 的覆盖不足以支持 strong scaling claim。核心能力可能主要来自数据覆盖和模板控制，而不是方法学上的可扩展选择性遗忘。对更大 MLLM、更强 public prior、更开放的问题形式，结论可能变化。

最后，relearning 结果说明现有 unlearning 没有稳定删除知识，但论文没有进一步定位恢复路径。恢复可能来自 retained latent memory、public finetuning 激活共享表示、语言模板再对齐，或 LoRA adapter 的可逆扰动。文中未充分说明这一点，导致“为什么会 re-emerge”的机制归因仍然停留在现象层。

Takeaway

• 第一，MLLM unlearning benchmark 以后不能只报告 forget 与 retain；必须加入同样本、同场景、同视觉证据下的 adjacent retention，否则会系统性高估方法选择性。
• 第二，当前多数 unlearning objective 更像全局表征扰动或输出抑制，不是精确删除。
• public-only relearning 能恢复 private knowledge 这一点，比单次 forget accuracy 更能揭示方法真实上限。
• 第三，区域级 inductive bias 是值得迁移的方向。

一句话总结

PPE-Bench 的位置是一篇 benchmark-driven 诊断论文：它把 MLLM unlearning 从分离样本上的遗忘/保留评估推进到同图 private-public entanglement 下的选择性遗忘评估，并显示现有方法更多是在抑制输出而非真正擦除可恢复的私有表征。