Awesome Self-Supervised Learning / 计算机视觉

Self-Supervised GANs via Auxiliary Rotation Loss

作者：Ting Chen, Xiaohua Zhai, Marvin Ritter · 来源：Preprint / Paper · 类别：图像表征学习 · 发布日期：2019

自监督学习表征学习图像表征生成模型

精读笔记

Problem Setting

论文标题：Self-Supervised GANs via Auxiliary Rotation Loss（Preprint / Paper, 2019）。

这篇论文不是在提出一个新的 GAN loss，也不是单纯做无监督表征学习；它实际瞄准的是 ImageNet 级复杂分布上 unconditional GAN 和 conditional GAN 之间的质量与稳定性鸿沟。关键问题在于：conditional GAN 的优势通常被归因于类别条件降低建模难度，但作者强调另一个更隐蔽的因素——标签监督让 discriminator 学到更稳定、更语义化的表征，从而缓解 GAN 训练中的非平稳性。

真正困难点是 discriminator 面对的是一个不断变化的 fake distribution。当前最优的判别特征未必对下一阶段有用，因此 discriminator 没有动机保留全局语义、类别结构或可迁移视觉特征。它只需要抓住当前 generator 的缺陷即可。这个局部最优行为会导致表征遗忘、训练循环、collapse 或过度依赖短期 artifact。

以前方法大多从稳定对抗优化入手：spectral normalization、gradient penalty、历史样本 replay、参数平均、continual learning 正则等。这些方法要么约束优化几何，要么显式引入时间记忆；但它们没有从“discriminator 应该持续学习数据结构”这个角度重塑训练信号。本文的关键矛盾是：GAN discriminator 理论上只需估计当前真假密度比，而高质量生成又需要它长期保持对真实数据结构的敏感性。

Motivation

作者的动机很明确：conditional GAN 强，不只是因为 generator 得到了 label，也因为 discriminator 得到了一个稳定的、与真实数据语义相关的辅助任务。无条件 GAN 缺少这种外部锚点，discriminator 的表征完全被当前 fake samples 定义，因此容易短视。

论文中最重要的观察是 discriminator forgetting：普通 unconditional GAN 的 discriminator 表征在训练早期会逐渐包含类别信息，但训练到一定阶段后这些信息会下降；而加入自监督后，这种下降被抑制。这个观察比最终 FID 更关键，因为它把 GAN instability 和 representation degradation 联系起来。

已有路线不够的地方在于，它们要么需要标签，要么只处理优化稳定性，而没有给 discriminator 一个 independent-of-generator-quality 的学习目标。作者想到 rotation self-supervision，是因为它能在无标签条件下构造一个稳定任务，迫使网络关注物体形状、方向、部件布局等真实图像统计，而不是只追逐当前真假边界。

Core Idea

核心思想是把 discriminator 从纯粹的 adversarial classifier 改造成一个带自监督表征约束的判别器。真假判别仍然负责 density-ratio game，但 rotation prediction 提供一个不随 generator 演化而改变的任务，使共享特征层必须保留对真实图像结构有用的信息。这样 discriminator 不再只是当前 generator 的反函数，而是被迫学习一个更稳定的数据表示。

更本质地说，论文引入的是一种无标签 conditioning 的替代物。条件 GAN 用人工类别标签把数据分解成语义子分布，并给 D/G 提供稳定语义信号；SS-GAN 用 rotation label 提供弱但通用的几何-语义 inductive bias。它没有显式建模类别，但通过 pretext task 让 discriminator 的特征空间对自然图像结构更 aligned。这个信息流重组很关键：标签从外部监督变成由数据增强产生的伪监督，生成器不直接条件化于类别，而是通过 discriminator 的自监督特征梯度被间接约束。

和 prior 的本质区别不是“多加一个 auxiliary head”，而是 auxiliary task 的监督来源与梯度使用方式不同：它既不是 AC-GAN 那样的真实类别监督，也不是纯 self-supervised representation learning，而是把自监督任务嵌入 adversarial game，使 D 的表征稳定性和 G 的生成方向同时受益。

Method

方法层面真正必要的机制如下。

1. Discriminator 共享 backbone，分成 real/fake head 与 rotation head。它解决的是 discriminator 表征过度服务于短期真假判别的问题。共享特征意味着 rotation 任务的梯度会直接塑造用于 adversarial decision 的表示，而不是作为一个独立旁路存在。

2. Rotation prediction 使用 0/90/180/270 度旋转构造伪标签。选择 rotation 的意义不是它最先进，而是它简单、稳定、与自然图像的全局结构相关，且无需标签。这个任务迫使网络捕捉方向、形状、语义布局，而这些特征恰好也是判别自然图像真实性需要的。

3. Discriminator 的 rotation loss 只在真实图像上更新。这一点是机制上最重要的防作弊设计。如果 D 也用 fake 图像训练 rotation head，generator 可能与 D 形成非语义的协作捷径，产生容易判断旋转但不真实的 artifact。只用真实图像训练 D 的 rotation head，相当于把 rotation decision boundary 固定在真实数据结构上。

4. Generator 也优化 fake 图像上的 rotation 可判别性。它解决的是 generator 只需骗过真假 head、可能利用短期漏洞的问题。现在 generator 还需要生成那些在 D 的真实图像 rotation 特征空间中有清晰方向结构的样本。这不是 conditional generation，但会提供一种弱语义/几何约束。

5. Self-modulated BN 是重要但不属于核心思想的增强。它在无标签条件下模仿 generator conditioning 的一部分效果，帮助缩小与 conditional GAN 的差距。这里增益来源不清：部分可能来自 rotation self-supervision，部分可能来自更强 generator modulation。

Key Insight / Why It Works

这篇论文最值得保留的 insight 是：GAN 里的 discriminator 不应只被看作 density-ratio estimator，还应被看作 generator 的 representation oracle。若 oracle 的表示随当前 fake distribution 漂移，generator 得到的梯度会短视且不稳定；若 oracle 被一个稳定自监督任务约束，它给 generator 的反馈会更一致、更接近真实数据结构。

方法有效的核心原因可能不是 rotation 本身，而是 rotation loss 提供了三种作用：第一，representation anchoring，防止 discriminator 忘掉语义/结构特征；第二，regularization，让 discriminator 不只依赖局部 artifact；第三，gradient shaping，让 generator 被推向具备真实图像几何结构的区域。三者中最核心的是 representation anchoring。

这本质上更接近 better inductive bias + implicit memory，而不是 scaling、retrieval 或 test-time compute。它没有显式 replay 历史 fake samples，但自监督任务相当于给 D 加了一个跨训练阶段不变的任务，从而起到某种“功能性记忆”的作用。相比 continual learning 正则，这种记忆不是保护旧参数，而是持续学习同一个稳定 pretext。

不过也需要直接指出：最终 ImageNet FID 的提升并不能完全归因于 rotation loss。小规模对比支持 rotation 带来稳定性，但大规模结果里有更大模型、更大 batch、TPU pod、self-modulation 等因素；“无条件接近条件 GAN”这个结论在机制上成立，但量化差距缩小多少由哪个因素贡献，文中未充分说明。

另一个判断：rotation loss 在这里不是强语义监督，它只是让网络学到一些与 objectness 相关的视觉结构。它能替代类别标签的一部分稳定化作用，但不能真正替代 class-conditional factorization。对 ImageNet 有效，是因为 ImageNet 图像通常有 upright object bias；如果数据没有稳定方向语义，或者旋转改变语义/破坏分布，该 inductive bias 会失效。

Relation To Prior Work

最接近的路线有三条：conditional / auxiliary-classifier GAN、GAN forgetting / continual learning、self-supervised representation learning。

相对 AC-GAN / projection cGAN，本文的新增信息是把外部类别标签替换成由数据变换产生的伪标签，并且 generator 不以伪标签为条件生成，而是生成 upright image 后再通过旋转任务接受约束。AC-GAN 的 auxiliary classifier 是语义监督；SS-GAN 的 auxiliary classifier 是几何自监督。看似都是 auxiliary head，但信息来源、作弊风险和对 generator 的约束方式都不同。

相对 projection cGAN，SS-GAN 并没有真正做条件分布分解，因此它不能完全获得 conditional modeling 的结构性优势。它恢复的是 conditional GAN 中“稳定表征监督”的那部分收益，而不是类别条件化带来的全部收益。这一点很重要：论文有时把二者说得很接近，但本质上 SS-GAN 不是 label-free cGAN，而是 regularized unconditional GAN。

相对 GAN replay / continual learning 方法，本文没有保存旧样本或旧模型，也没有显式限制参数漂移；它用一个固定 pretext task 减少 forgetting。这是实质创新：把 forgetting 问题从时间记忆问题转化成辅助任务设计问题。

相对纯自监督学习，本文不是为了学 representation 而学 representation；representation 是生成训练稳定性的中间机制。Rot-only ablation 反而弱于 SS-GAN，说明 adversarial loss 与 self-supervised loss 存在互补：GAN 任务提供数据分布压力，自监督任务提供表征稳定性。

Dataset / Evaluation

评估覆盖了 ImageNet、CIFAR10、LSUN-Bedroom、CelebA-HQ，其中 ImageNet 是最能验证核心 claim 的场景，因为无条件 GAN 在这里确实困难。小数据集上的结果更多说明方法不是只在一个 benchmark 上工作，但不足以证明一般性。

实验比较基本支持作者的两个 claim：一是 self-supervision 改善生成质量和训练稳定性；二是 discriminator representation 更强、更不易遗忘。尤其是线性 probe 随 GAN 训练进度变化的曲线，比单点 FID 更能验证论文的机制假设。

但 evaluation 也有明显 limitation。FID 是主要指标，仍然不能完全区分 mode coverage、语义一致性和 memorization。论文没有深入分析生成样本的类别覆盖、长尾类别、多样性结构，也没有证明 rotation loss 真的改善了 class coverage 而非仅改善低层统计。

CelebA-HQ 上收益不明显，反而说明方法强依赖数据与 pretext 的匹配关系。这个负例很有价值，但论文处理得较轻。若 claim 是“恢复 conditional GAN 的收益”，那应进一步拆解 conditional benefit：类别分解、D 表征监督、G modulation 分别贡献多少。文中对这一点没有充分隔离。

Limitation

第一，核心前提是 rotation prediction 与真实数据语义结构高度相关。ImageNet 满足 upright object bias，因此 rotation label 是有用信号；但在遥感、医学、纹理、对称物体、任意方向拍摄或 rotation-invariant 数据中，这个假设可能不成立。方法的泛化不是无条件的。

第二，它没有从根本上解决 unconditional modeling 的组合复杂性。类别标签能把联合分布拆成更简单的条件分布，rotation label 做不到这一点。SS-GAN 恢复的是条件监督中的表征稳定化效应，而不是条件生成的完整建模优势。

第三，增益归因不完全清晰。SS-GAN + sBN 接近 conditional GAN，但 sBN 本身已经是强 generator-side inductive bias；大规模 ImageNet 结果又叠加模型容量、batch size、TPU scaling。最终数字可能主要反映“稳定训练允许 scaling 生效”，而非 rotation loss 单独带来的生成能力跃迁。

第四，理论上 generator 加 rotation objective 后，原始 GAN 的 PG = Pdata 收敛最优性不再严格成立。作者提到 anneal α 可恢复保证，但实际中如何 anneal、是否影响性能，文中未充分说明。这个问题不是形式主义：如果 auxiliary objective 与真实分布目标冲突，它可能系统性偏向某些可旋转结构清晰的图像。

第五，representation quality 与 sample quality 的因果关系仍未完全证明。二者相关，但可能共同来自更稳定优化或更强正则。Rot-only 不够强说明 self-supervision 不是单独答案；但究竟是 D 表征提升导致 G 提升，还是更平滑训练同时提升两者，文中证据还不够干净。

Takeaway

  • 1. GAN discriminator 的表征稳定性是生成质量的关键控制变量之一；只看 adversarial loss 几何是不够的。
  • 2. 条件 GAN 的优势可以被拆解：一部分来自条件分布分解，一部分来自对 discriminator 的稳定语义监督。
  • 本文真正推动的是后者的无标签替代。
  • 3. 自监督任务可以作为 GAN 训练中的 functional memory：不保存历史样本，也能让 D 保持跨阶段一致的数据结构表征。

一句话总结

这篇论文把自监督表征学习引入 GAN discriminator，实质上用无标签的稳定 pretext task 替代条件 GAN 中部分标签监督的表征锚定作用，是从“优化稳定化”走向“判别器表征稳定化”的一类方法演化。