Awesome Self-Supervised Learning / 计算机视觉

S4L: Self-Supervised Semi-Supervised Learning

作者：Xiaohua Zhai, Avital Oliver, Alexander Kolesnikov, Lucas Beyer · 来源：Preprint / Paper · 类别：图像表征学习 · 发布日期：2019

自监督学习表征学习图像表征

精读笔记

Problem Setting

论文标题：S4L: Self-Supervised Semi-Supervised Learning（Preprint / Paper, 2019）。

这篇论文不是在重新定义半监督分类，而是在问一个更具体的问题：在 ImageNet 这种大规模自然图像分类中，只有少量标签时，未标注数据到底应该如何进入训练，才能真正改善表示，而不只是对分类输出做平滑正则。

传统半监督方法的关键矛盾是：未标注数据很多，但没有类别标签，因此只能通过一些间接假设利用它，例如 cluster assumption、low-density separation、prediction consistency、entropy minimization 或 pseudo-label。这些方法大多作用在输出分布或决策边界上，隐含假设是模型已经有一个足够好的表示空间。问题是，在标签少的时候，表示本身往往还没学好；只移动边界不一定能修复 backbone 的语义结构。

纯自监督路线则相反：它很擅长从无标签图像中学视觉结构，但如果完全没有标签，学到的表示未必沿着目标类别语义组织。尤其在 2019 年的 rotation / exemplar / jigsaw / colorization 语境下，自监督表征距离全监督仍有明显差距。S4L 正是在这两个缺口之间插入：让自监督目标利用未标注数据塑造表示，让少量标签同时校准这个表示的语义方向。

Motivation

作者的核心观察很直接：半监督学习需要更强的未标注数据利用机制，而自监督学习正好提供了大量可扩展的无标签监督信号；但自监督单独使用时又缺少语义锚点。两者天然互补。

已有半监督方法不够的地方在于，它们通常把未标注样本看作分类器输出空间上的约束对象：同一个图像扰动前后预测应一致、未标注样本预测应低熵、模型高置信预测可以作为伪标签。这些信号有用，但它们主要依赖当前模型已经形成的类别假设，容易出现 confirmation bias，也不一定强迫网络学习新的视觉因素。

已有自监督方法不够的地方在于，它们确实能学到形状、布局、实例不变性等视觉结构，但 pretext objective 和下游分类 objective 之间存在 semantic gap。少量标签可以填补这个 gap，但常规做法是“先自监督预训练，再有监督 fine-tune”，这会把两个阶段割裂开。S4L 的动机是：不要把自监督当初始化，而是把它变成半监督训练期间持续存在的结构约束。

Core Idea

S4L 的核心思想可以概括为：把任意自监督目标改写成半监督学习中的 unlabeled loss，与 labeled cross-entropy 共享同一个模型联合训练。这样未标注数据通过 pretext task 进入优化过程，有标签数据通过分类任务锚定语义空间。它改变的是未标注数据的信息流：未标注样本不再只是提供“预测应稳定”这种输出层约束，而是提供一个需要视觉理解的辅助任务，从而直接参与 representation geometry 的形成。

这个思路引入的 inductive bias 是：对自然图像而言，能解决旋转预测、实例增强不变性等任务的表征，通常也会保留对分类有用的形状、部件、姿态和对象级结构。少量标签再把这些结构投影到目标类别上。与 prior 的本质区别不在于 rotation 或 exemplar 新，而在于训练范式变了：self-supervision 不再是 pretraining trick，而是 semi-supervised objective 的组成部分。

直觉上它可能比传统半监督更 scalable，因为自监督任务不依赖类别集合，也不依赖伪标签质量；只要有未标注图像，就能产生训练信号。它也可能比纯自监督更 generalizable，因为标签会持续纠正 pretext task 可能学偏的方向，避免表示只服务于旋转角度或实例 ID。

Method

方法可以抽象为一个联合目标：监督分类损失加上一个或多个未标注损失。S4L 的关键替换是：未标注损失不是 VAT / entropy / consistency，而是 self-supervised loss。这个替换解决的是“未标注数据如何塑造中间表征”的问题，而不是只解决“分类边界如何避开高密度区域”。

S4L-Rotation 的机制是让模型预测图像被旋转了多少度。它需要模型捕捉物体的 canonical orientation、全局布局和形状线索，因此对自然图像分类有较强相关性。这里真正重要的是辅助任务迫使 backbone 保留对象级结构；具体四个角度只是实现选择。

S4L-Exemplar 的机制是让同一图像的多种增强在表示空间中接近，不同图像分开。它解决的是标签少时表示空间容易塌到狭窄判别线索的问题，引入实例级不变性和分散性。其本质接近早期 contrastive / metric learning 思路，只是这里作为半监督训练目标而非纯无监督预训练。

论文还把 S4L 与 VAT、Entropy Minimization、Pseudo-label 组合成 MOAM。机制上，这说明 representation-level self-supervision 与 output-level semi-supervision 存在互补：前者塑造特征，后者约束决策边界和预测置信度。但 MOAM 的复杂训练流程包含较多工程选择，不能简单视为 S4L 核心机制本身。

Key Insight / Why It Works

这篇论文最值得保留的 insight 是：半监督学习不应只在预测空间利用未标注数据，也应该在表示空间利用未标注数据。传统 consistency regularization 的隐含前提是当前表示已经足够好，未标注数据只需要告诉你边界不要穿过高密度区；S4L 则认为，在标签稀缺时，表示本身就是主要瓶颈，因此需要 auxiliary self-supervised task 持续训练 backbone。

S4L 有效的核心原因很可能是 representation alignment：自监督任务从所有图像中提取广泛视觉因素，少量标签把这些因素对齐到分类语义。这个过程比“自监督预训练 + 微调”更稳，因为辅助任务在有监督训练期间没有被完全遗忘，也不会在预训练阶段学到与分类无关的表示后再被强行适配。

S4L-Rotation 的强表现说明 rotation 在 ImageNet 上恰好是一个高相关 pretext：许多类别具有稳定方向、对象轮廓和场景结构，预测旋转迫使模型关注 object-centric cues，而不是只依赖局部纹理。这个 inductive bias 对自然图像有效，但不是普适原理。

S4L-Exemplar 的作用更像早期 contrastive regularization：增强不变性 + 实例分离改善 representation geometry。它可能更通用，但在文中效果不如 rotation 稳定，说明当时的 exemplar/triplet 形式还不够强，且对 batch、增强、负样本结构敏感。

MOAM 的最强结果不应过度解读为单一方法突破。它混合了 S4L、VAT、Entropy Minimization、Pseudo-label、更大模型、Polyak averaging、多步训练和多 crop/rotation 生成伪标签。这里的增益来源不清，可能相当部分来自 engineering / scaling / stronger training recipe。真正的科学贡献是证明这些信号互补，而不是证明某个统一算法本身优雅地解决了半监督学习。

迁移实验中 S4L 表示让线性分类器更快收敛，这一点很关键：它支持 S4L 不只是提高 ImageNet 分类头，而是改变了特征可分性。更准确地说，它让表示更线性可分、更接近语义坐标系。这比单纯 top-5 数字更能支持论文 claim。

Relation To Prior Work

S4L 位于三条技术谱系的交叉点：早期 self-supervised representation learning、deep semi-supervised learning、multi-task learning。它与 rotation prediction、exemplar learning 的关系是直接继承；与 VAT、Mean Teacher、Entropy Minimization 的关系是互补而非替代；与 pseudo-label 的关系则是可以串联使用。

和自监督预训练 + fine-tuning 相比，S4L 的本质差异是 joint optimization。预训练范式中，自监督目标只决定初始化，fine-tuning 后可能被覆盖；S4L 中，自监督目标作为训练期间持续约束，和监督 loss 共同决定表示空间。这是实质区别。

和 VAT / consistency 方法相比，S4L 的区别是信号位置不同。VAT 约束局部扰动下预测分布稳定，主要塑造边界平滑性；S4L 约束模型解决辅助视觉任务，主要塑造特征结构。前者依赖模型当前预测，后者不依赖类别预测质量，因此在 early training 或标签少时可能更稳。

看似新的地方其实有一部分是已有思想重组：multi-task learning、auxiliary loss、self-supervised pretext、semi-supervised objective 都不是新概念。实质创新在于明确提出“任意自监督目标都可转化为半监督未标注损失”这一框架，并在 ImageNet 级 semi-supervised setting 下系统验证，而不是只在 CIFAR/SVHN 小数据集上报告结果。

Dataset / Evaluation

评估主要集中在 ILSVRC-2012 的标准半监督协议：保留 10% 或 1% 标签，其余当无标签。这个 benchmark 能较好验证论文关于“self-supervised objectives 可扩展到大规模半监督图像分类”的 claim，因为 ImageNet 比 CIFAR/SVHN 更接近真实视觉表征学习挑战。

论文在 evaluation 上有一个优点：作者花大量精力调强 supervised-only baseline，指出弱 baseline 会夸大半监督方法收益。这一点很重要，也让 S4L 的相对收益更可信。作者还讨论小验证集是否足够，避免完全依赖大验证集调参这一常见半监督评估问题。

但 evaluation 仍然有明显边界。首先，协议仍是从同一标注数据集抽标签，未标注数据与测试分布高度一致，这不能证明真实开放场景下的半监督鲁棒性。其次，没有跨领域半监督、长尾类别、分布偏移或噪声未标注数据评估。第三，MOAM 的 SOTA 对比包含不同架构和训练策略，不能干净验证 S4L 本身相对 prior 的机制优势。

迁移到 Places205 的线性评估更能支持表示学习 claim，但也只是场景分类迁移，不能证明更广泛任务如 detection、segmentation、fine-grained recognition 上同样有效。文中未充分说明 S4L 学到的到底是通用视觉表示，还是更适合 ImageNet/Places 这种自然图像分类族的表示。

Limitation

S4L 的核心前提是 self-supervised pretext task 与下游语义有正相关。如果 pretext 与目标任务错位，辅助损失会变成噪声甚至负迁移。rotation 在 ImageNet 上有效，不代表在医学图像、卫星图像、方向任意的数据或类别本身旋转不变的数据上有效。

第二个前提是未标注数据来自同一或相似分布。若未标注池包含大量 out-of-distribution 图像，自监督 loss 仍会认真学习这些图像结构，但这些结构可能不服务于目标分类，甚至稀释有限标签的语义信号。论文没有系统讨论这种 realistic SSL 场景。

第三，1% 标签结果说明方法并没有真正解决极低标签学习。13 张/类时，S4L-Rotation 有提升，但整体性能仍远离可用水平。作者也承认这可能已经接近 few-shot regime，需要不同方法。换言之，S4L 更像 label-efficient representation regularization，不是 few-shot semantic acquisition。

第四，MOAM 的最强结果归因不清。更宽模型、多损失、多阶段伪标签、多 crop/rotation 预测、Polyak averaging 和 fine-tuning 都可能贡献显著收益。这里可能主要来自 scaling / engineering / data coverage，而不是一个干净的新学习原则。

第五，S4L 没有解决伪标签或 entropy 方法中的 confirmation bias，只是在组合时叠加了这些机制。它也没有建模长期结构、因果关系或更深层语义；所谓泛化主要是表示几何更好，而不是形成更强 reasoning 能力。

Takeaway

  • 1. 最重要的迁移 insight：半监督学习的未标注损失不必局限于 output consistency，可以直接使用自监督任务塑造 representation；这后来在 contrastive SSL、teacher-student SSL、masked modeling 与半监督结合中仍然成立。
  • 2. S4L 真正推动的是训练范式：self-supervision 从 pretraining initialization 变成 joint training regularizer。
  • 这个思想比 rotation/exemplar 具体选择更持久。
  • 3. 对大规模半监督评估而言，强 supervised baseline 和干净验证协议非常关键；否则很多所谓半监督收益只是 baseline 调参不足。

一句话总结

S4L 是把自监督 pretext task 从预训练工具改造成半监督联合目标的一篇早期关键工作，其真正贡献是证明 representation-level unlabeled supervision 与 output-level semi-supervision 互补，但最强结果中有相当多增益可能来自工程组合和 scaling。