精读笔记
Problem Setting
[MAPE: Defending Against Transferable Adversarial Attacks Using Multi-Source Adversarial Perturbations Elimination]（arXiv preprint / 2026）
这篇论文实际处理的是 transferable adversarial attacks 下的输入净化泛化问题：防御器不能只对某个已知 substitute model 生成的扰动有效，而要在攻击源模型、攻击算法和扰动预算变化时仍能把输入拉回目标模型可正确分类的区域。困难点在于 transferable perturbation 不是统一噪声分布，而是由 substitute model 的决策边界、梯度场和攻击优化过程共同诱导出来的条件分布。以前的随机 transformation 太粗，会破坏 clean distribution；HGD/LDT 这类 learned denoiser 又容易对训练攻击源过拟合。关键矛盾是：要增强扰动覆盖，但又不能把 clean image 也过度变换掉。
Motivation
作者的出发点不是“再设计一个 denoiser”，而是指出单源 adversarial purification 的泛化瓶颈：如果训练扰动只来自一个目标/替代模型，防御器学到的很可能是该模型边界附近的 artifact，而非 transferable attack 的共性结构。已有路线缺的是对 perturbation source diversity 的显式建模。MAPE 的动机可以概括为：与其让 denoiser 被动适配一个固定攻击分布，不如主动构造一个多源、动态切换、扰动预算变化的训练分布，使 denoiser 被迫学习更稳定的“可去除攻击成分”。
Core Idea
论文真正的核心思想是把 adversarial defense 从 target classifier 的鲁棒优化，改写成一个外置 residual purification model 的分布覆盖问题。防御器不直接提升分类器边界，也不依赖 target model 的在线反馈，而是在输入空间预测一个要减去的残差，使重建样本回到冻结分类器可正确识别的区域。这个建模引入的 inductive bias 是：transferable perturbations 在像素/局部结构上存在可学习共性，即便它们来自不同模型边界。
与 prior 的本质区别在于，MAPE 不满足于训练一个 denoiser，而是重新组织训练扰动的来源。PPSA 把多个预训练模型看成扰动分布生成器，并通过“模型差异 + 使用负动量”调度它们，从而扩大 denoiser 见到的边界几何。直觉上这比固定单源或均匀多源更 scalable，因为新增模型可以被视作增加 perturbation coverage；但这也意味着方法的上限很大程度由模型池和攻击生成覆盖决定。
Method
关键机制有三层。第一，SAPE 将防御器训练成 residual remover：输入可以是 clean 或 adversarial sample，网络输出需要移除的成分，再把 x-E(x) 送入冻结分类器，用分类损失监督。这解决的是像素级 clean reconstruction 不一定等价于分类恢复的问题，核心变化是监督从 image fidelity 转向 decision recovery。
第二，多源训练把扰动生成从单一分类器扩展到多个预训练模型。它解决的是 source-specific overfitting：如果 denoiser 只见过 ResNet 边界附近扰动，遇到 ShuffleNet/ViT 或 ensemble attack 时会退化。多源机制本质上是在扩大 adversarial perturbation support。
第三，PPSA 不是简单随机采样源模型，而是用输出 score 的 Wasserstein 距离近似模型差异，再用 negative momentum 防止某些模型被反复选中。它试图解决多源训练中的 coverage imbalance：既优先访问差异大的源，也避免训练分布塌缩到少数高差异模型。CAU-Net 的 channel attention 和深度选择属于提高 purification capacity 的工程性设计，不应被看作主要机制。
Key Insight / Why It Works
最可能真正有效的是“多源扰动覆盖 + decision-level residual purification”的组合。MAPE 的优势并不来自某个神奇的 U-Net，而来自训练时把 denoiser 暴露在更宽的 substitute-model-induced perturbation family 上。换句话说，它更像 data coverage / curriculum / inductive bias 的胜利，而不是鲁棒优化理论上的突破。
SAPE 有效，是因为 transferable perturbations 往往包含局部高频、边界相关但语义无关的成分，外置残差网络可以学到一种对分类有利的投影。但 SAPE 的上限很低：单源扰动会让投影方向绑定具体模型。MAPE 的改进来自把这个投影训练成对多个源模型扰动都平均有效的 operator。
PPSA 的 insight 是合理的：相邻 mini-batch 中扰动源差异越大，越能减少 denoiser 沿某个 source shortcut 收敛。但它的“模型差异概率”是否真的对应 adversarial perturbation 差异，文中未充分说明。输出 score 分布差异只是模型行为差异的 proxy，不等于梯度场差异，更不等于攻击扰动几何差异。因此 PPSA 的收益可能部分来自避免采样偏置，而不是精确建模 perturbation manifold。
最需要警惕的是增益归因：MAPE 同时引入多模型池、随机 attack method、随机 budget、clean/adversarial mixing 和较强 denoiser 容量。实验显示 PPSA 比 random multi-source 有提升，但幅度并不大；主要提升很可能来自 scaling/data coverage。white-box adaptive attack 下几乎失效，也说明它没有形成不可绕过的鲁棒表征，只是在 black-box transfer 分布上学到了有效 preprocessing。
Relation To Prior Work
MAPE 属于 input transformation / adversarial purification 谱系，最接近 HGD、feature denoising、LDT，而不是 Madry/TRADES 式 adversarial training。它和随机 transformation 的差异在于 learned and selective purification；和 HGD/LDT 的差异在于训练扰动源不再只围绕目标模型或固定攻击分布，而是被多源模型池动态生成。
看似新的部分里，CAU-Net 并不新，本质是 U-Net denoiser 加 attention；多攻击、多预算训练也接近常见 data augmentation。比较实质的新增信息是 PPSA：把预训练模型作为可调度的扰动源，并用模型行为差异和负反馈使用频率来组织 adversarial data curriculum。这个创新更像训练数据调度策略，而不是新的防御范式。
因此，MAPE 的位置可以理解为：把 learned purification 从 single-source adversarial denoising 推向 multi-source perturbation distribution learning。它没有解决 white-box robustness，但在 practical transferable black-box setting 下把“模型池覆盖”这件事系统化了。
Dataset / Evaluation
评估覆盖了 CIFAR-10、CIFAR-100、Mini-ImageNet，多种 CNN/ViT substitute model，多类未知攻击、集成攻击、强 substitute attack、adaptive attack 和 cross-target-model defense。这个覆盖对论文核心 claim 是相对充分的：它确实验证了 MAPE 在 black-box transferable setting 下比 HGD/LDT 更不依赖具体 target model，也更能承受未见 substitute model。
但 evaluation 仍有明显边界。首先，所有任务都是小/中尺度分类，没有真实世界部署、物理攻击、分布外数据或非分类任务验证。其次，训练源模型池与测试 substitute models 虽然不完全重合，但仍处于常见视觉分类架构族内，泛化是否来自真正的 perturbation invariance 还是 architecture-family overlap 不清。第三，adaptive attack 结果实际上表明该方法面对知道防御器的攻击者并不可靠，这限制了安全 claim 的强度。第四，论文没有充分隔离多模型数量、攻击数量、预算随机化、PPSA 调度和 CAU-Net 容量各自贡献，增益来源不清。
Limitation
MAPE 成立依赖几个强前提：transferable perturbations 在训练源模型池覆盖下存在可学习共性；攻击者的 substitute model 分布与训练模型池足够接近；攻击者不知道或不能有效反向穿过 defense model；输入域与训练数据域一致。这些前提在标准 black-box benchmark 中成立，但在真实部署中并不稳。
最大限制是 adaptive robustness 几乎没有解决。由于防御器是可微的外置 preprocessing，白盒攻击可以直接优化 through purification，实验中所有方法都显著崩溃。也就是说，MAPE 不是鲁棒分类器，只是一个对非自适应 transferable perturbation 有效的 learned filter。
第二个限制是 scalability 与归因。方法依赖多个预训练模型、攻击算法和扰动预算来覆盖训练分布；模型池越大，训练成本越高，且新增收益未必线性。核心能力可能主要来自数据覆盖，而 PPSA 的理论必要性不足。文中未充分说明 Wasserstein score distance 与攻击迁移几何之间的关系，PPSA 可能只是一个合理的采样 heuristic。
第三个限制是可能把问题转移了：原本需要 target model robust，现在变成需要维护一个足够大的 offline substitute-model/attack generator pool。如果攻击范式改变，例如低频物理扰动、语义攻击、diffusion-based adaptive attack 或任务迁移到 detection/segmentation，当前 purification objective 是否仍成立并不清楚。
Takeaway
- 1. 这篇最值得记住的不是 CAU-Net，而是把 adversarial purification 的泛化问题显式改写为 perturbation-source coverage 问题；未来类似方法大概率会继续沿着更大模型池、更自动化 attack generator、更精细 source diversity metric 演化。
- 2. 对 black-box transferable defense，数据分布组织可能比单个防御网络结构更重要。
- PPSA 的价值在于提示：多源 adversarial training 不应只做均匀混合，而应主动拉开连续训练样本的边界几何差异。
- 3. 这类方法适合被看作 deployment-time sanitization layer，而不是安全意义上的强鲁棒性保证。
一句话总结
MAPE 是 adversarial purification 路线中一次以多源扰动覆盖和调度为核心的工程化推进，真正贡献在于把 transferable black-box 防御从单源 denoising 推向 model-pool-driven perturbation distribution learning，而不是解决了白盒鲁棒性问题。