精读笔记

Problem Setting

这篇论文处理的是 UE 的频域鲁棒性问题：被保护数据在未经处理时能让下游模型学不到有用表示，但一旦训练者做低通、压缩或净化，已有扰动可能失效。真正困难点不是生成一个在标准 supervised training 下有效的 perturbation，而是让 perturbation 的不可学习效应不依赖某个易删除频段。prior UE 方法卡在 shortcut 过于集中：它们成功地让模型追逐非语义信号，但这些信号大多位于高频，因此防御者只需移除高频，低频形状和全局结构仍足够恢复学习。这个任务的关键矛盾是：扰动必须足够分散到全频以抵抗 filtering，但又不能变成可见失真或破坏图像语义到失去“保护而非污染”的意义。

Motivation

已有路线不够的根因是它们把不可学习性等同于“制造一个更容易学的 spurious cue”，却没有约束这个 cue 在输入频谱中的可删除性。作者的核心观察是低通滤波可以显著削弱多种 UE baseline，说明 prior 的保护效果主要来自高频捷径，而不是让样本在所有可用视图下都不可学习。由此自然想到把 UE 看成一个 spectral robustness 问题：如果任意频段被抹掉后剩余频段仍能支持语义学习，那么保护就是不完整的。关键缺口是缺少一种机制强迫 perturbation 在训练时经历频段缺失，从而避免单频段依赖。

Core Idea

FUSE 的真正核心是把 UE 生成过程改造成频谱上的 domain generalization：训练 perturbation generator 时随机遮掉连续频带，让 generator 不能押注某个固定频段，而必须让不同频段都携带足以诱导不可学习的信号。这样做改变了 UE 的建模方式：prior 多数是在原始像素空间或模型决策空间寻找 shortcut，FUSE 则显式把“频段可删除性”纳入优化环境。

它引入的新 inductive bias 是 spectral redundancy for unlearnability：不可学习效应应该在多个频率子空间中冗余存在，而不是集中在高频。跨频带指导进一步重新组织了信息流：高频分支提供更强混淆，低频分支提供结构约束，使扰动既能向低频扩散，又不至于完全牺牲视觉保真。和 prior 的本质区别不在 generator 更小或 loss 更多，而在它把攻击目标从“制造 shortcut”改成“制造不可被简单频域投影消除的 shortcut family”。

Method

保留机制层面看，FUSE 有三个必要部分。第一，随机频谱屏蔽解决 perturbation collapse：每次训练删除一段连续频率，迫使剩余频率仍要让模型学不到正常语义，相当于对频域攻击空间做 adversarial-style augmentation。第二，谱熵正则解决能量集中：只做随机屏蔽仍可能学出少数频点的强信号，熵项鼓励扰动能量更均匀地分布，但它更像防塌缩正则，不是主要攻击源。第三，跨频带指导解决低频不可学习性难以直接优化的问题：高频预测作为软目标把混淆传给低频，低频结构相似性反过来约束高频不要变成明显伪影。整体上，它不是在提高单次攻击强度，而是在扩大扰动对频域变换的覆盖。

Key Insight / Why It Works

最重要的 insight 是：UE 的脆弱性不是扰动幅度不够，而是 shortcut 的频谱位置太脆弱。深度网络在小图像分类中容易利用高频、纹理和局部伪相关；传统 UE 正是利用这一点成功，但也因此容易被低通滤波清除。FUSE 有效主要因为它把这种 shortcut 从单点高频信号变成跨频段冗余信号，使得简单 preprocessing 不再能一刀切移除攻击载体。

我判断 RSM 是核心贡献，谱熵和 CBG 是让 RSM 不走偏的辅助机制。w/o RSM 的低通准确率恢复非常明显，说明没有频域 dropout 时模型仍回到高频依赖；w/o entropy / w/o CBG 的退化较小，更像稳定训练、提高低频覆盖和视觉质量。CBG 的表述中“高频混淆指导低频语义”有一定启发性，但它的增益来源不清：可能只是额外 consistency regularization，也可能是软标签蒸馏式的 representation alignment。这里本质上不是 scaling、retrieval、memory reuse 或 test-time compute，而是更好的 inductive bias 加训练分布覆盖。它也有 curriculum 的味道：随机频段缺失逐步迫使 generator 学会在不同频谱子域维持攻击。

需要注意，full-spectrum 不意味着真正消除了图像语义；它只是让常见 learner 在常见训练协议下无法稳定利用语义。低频结构仍然存在，人眼也能识别，这说明方法不是信息论意义上的语义隐藏，而是优化层面的 shortcut poisoning。若 downstream learner 有强预训练先验或强净化器，所谓不可学习性可能会大幅减弱。

Relation To Prior Work

它最接近 UE / availability attack / shortcut poisoning 这条线，尤其是 EMN、LSP、TUE、GUE、PUE 等通过 class-wise 或 sample-wise perturbation 诱导模型学习伪相关的方法。与这些工作的本质差异是，FUSE 不再只优化标准训练场景下的 shortcut 强度，而是优化 shortcut 对频域投影的鲁棒性。

看似新的部分里，随机频谱屏蔽本质上是 frequency-domain augmentation / dropout 的重组，谱熵正则也是常见的 anti-collapse 思路，跨频带一致性接近 multi-view consistency / distillation / perceptual regularization。实质创新在于把这些机制放到 UE 的失败模式上，并明确提出“不可学习性需要跨频谱覆盖”这个判据。它属于从 naive poisoning 向 robust poisoning / transformation-invariant poisoning 演化的一步，而不是一个全新攻击范式。

Dataset / Evaluation

评估覆盖面在 UE 论文里算比较完整：标准小图像分类、不同 backbone、跨架构迁移、不同 cutoff、JPEG、augmentation、防御式净化、partial protection、cross-dataset、优化协议变化都做了。它确实验证了核心 claim 的主要部分：prior UE 对低通敏感，而 FUSE 对频域过滤更稳。

但 benchmark 仍有明显边界。第一，主要证据来自 CIFAR/SVHN/ImageNet-100 这类分类设置，离真实个人图片保护、web-scale scraping、开放类别训练还有距离。第二，很多防御是非自适应的；如果 defender 专门针对 full-spectrum perturbation 训练重建器或做语义级数据增强，结果未必成立。第三，CLIP 实验降幅只有几个点，说明对 foundation model 或预训练表征的破坏还很有限。第四，论文展示了很多 robustness 维度，但增益归因仍集中在 RSM，CBG 是否在更大尺度上必要还需要更干净的实验。

Limitation

最大限制是方法依赖当前 supervised learner 的优化偏好：模型愿意优先学习扰动诱导的跨频段 shortcut，而不是利用仍然可见的语义结构。一旦训练者拥有强预训练模型、更多干净数据、语义一致性约束或生成式重建，FUSE 可能只是提高了清洗成本，而不是阻止学习。文中未充分说明 adaptive defense：例如联合随机低通/高通/JPEG/扩散重建训练、频谱均衡反制、MAE reconstruction、feature denoising 是否能恢复语义。

第二，full-spectrum 与 imperceptibility 存在天然张力。高频扰动容易不可见，低频扰动更接近形状和颜色变化；FUSE 若要真正让低频也不可学习，可能在高分辨率真实图像上更容易产生可感知失真。第三，class-wise 全数据保护是较理想化设定，现实中用户数据可能少量、长尾、无标签、跨域，class-wise perturbation 的假设未必成立。第四，所谓跨数据集迁移可能部分来自自然图像频谱统计相似，而不是语义级泛化；泛化是否真实存在仍需要更强分布转移验证。第五，CLIP/VLM 部分更像初步探索，不能支撑“可保护多模态训练数据”的强结论。

Takeaway

• 1. UE 方向以后不能只报告 unfiltered training accuracy；必须把 spectral filtering、compression、reconstruction 和 adaptive preprocessing 当成基本威胁模型。
• 2. 这篇真正推动的是评价标准和建模视角：不可学习扰动应被看作 transformation-invariant poisoning，而不是单一 shortcut 注入。
• 3. 可迁移的 insight 是“不要让保护信号集中在最容易被清洗的子空间”；类似思想可以迁移到 watermarking、data poisoning、anti-scraping、robust adversarial perturbation。
• 4. 未来更值得做的是面向 foundation model 和 adaptive defender 的语义级不可学习性，而不是继续在 CIFAR 上堆更多 filtering robustness。

一句话总结

FUSE 是 UE 从高频 shortcut poisoning 走向频谱鲁棒 poisoning 的一次有价值推进，核心贡献在于把不可学习性的载体从易删除的单频段扰动扩展为跨频段冗余扰动。