Awesome Self-Supervised Learning / 计算机视觉

Self-labelling via simultaneous clustering and representation learning

作者：Yuki Markus Asano, Christian Rupprecht, Andrea Vedaldi · 来源：ICLR 2020 · 类别：图像表征学习 · 发布日期：2020

自监督学习综述表征学习图像表征机器人

精读笔记

Problem Setting

论文标题：Self-labelling via simultaneous clustering and representation learning（ICLR 2020）。

这篇论文实际处理的是“无标签数据上如何构造可用于交叉熵训练的离散监督信号”。它并不是提出一个新的视觉 pretext task，而是试图把监督分类里最有效的部分——离散标签 + CE 判别训练——搬到无监督场景。

关键困难是伪标签和表示互相依赖：表示不好时聚类不可靠，伪标签不好时 CE 训练会强化错误划分；更糟的是，如果直接同时优化标签和网络，最优解可以是所有样本进入同一类，网络输出常数即可。这不是优化不好，而是目标本身病态。

以前 DeepCluster 这类方法绕过了问题：先用当前表示 K-means，再用聚类结果训练分类器。它有效，但本质上是两个不一致目标交替执行，避免塌缩依赖固定 feature、reassignment、采样平衡等实现细节。论文真正想补的是：能否给 clustering + CE 一个统一、可解释、可扩展的目标。

Motivation

作者的核心观察很直接：在有标签数据上，标准分类预训练仍然是很强的表示学习方法；因此也许不需要设计越来越复杂的 proxy task，而是需要自动产生足够好的“分类标签”。

已有路线不够的地方在于，pretext task 往往把监督信号绑定到某种人工设计的低级变换或局部关系上，其与语义表征之间是间接的；而 clustering-based 方法虽然更接近分类，但传统聚类目标通常是生成式或重构式的，和判别式表示学习不匹配。

论文的关键缺口是：如何让伪标签分配本身成为交叉熵目标的一部分，而不是外部 K-means 后处理；同时还必须有一个机制防止所有样本被分到同一标签。作者选择的答案是最大化样本 index 与标签之间的信息，并把它落实为均衡 assignment 约束。

Core Idea

核心思想可以概括为：让网络预测伪标签，但伪标签分配必须满足全局均衡。给定网络输出的 class probability，求一个 assignment matrix Q，使每个样本只分给一个伪类、每个伪类获得相同数量的样本，并且这个 assignment 尽量符合网络当前预测。这个问题等价于最优传输；训练时在“固定 Q 训练网络”和“固定网络更新 Q”之间交替。

这个建模方式改变了 clustering-based self-supervision 的信息流：不是先在 feature space 做 K-means，再把结果当作外部标签；而是在判别概率空间内，用全局边际约束产生标签。新引入的 inductive bias 是 balanced partition：每个伪类都必须被使用，因而避免 collapse，并持续迫使表示空间形成可分离的多簇结构。

与 prior 的本质区别不在于“也用了伪标签”，而在于伪标签不再来自重构意义上的 cluster center，而来自判别模型和全局熵约束之间的协调。这使得方法更接近 constrained classification，而不是 classical clustering。

Method

1. 统一的交叉熵目标：论文把标签写成 q(y|i)，网络预测写成 p(y|i)，目标是两者的 cross-entropy。这样 representation learning 和 self-labelling 都围绕同一个目标展开，解决 DeepCluster 两阶段目标不一致的问题。

2. Equipartition 约束：若 q 自由优化，会出现所有样本同类的退化解；强制每个伪类分到 N/K 个样本后，标签边际熵最大化，塌缩解被排除。这个约束不是细节，而是整个方法成立的核心先验。

3. Optimal Transport formulation：在固定网络预测 P 时，更新 Q 变成在 transportation polytope 上最小化 <Q, -log P>。这一步把组合 assignment 变成可处理的线性规划，并解释了为什么 relaxed solution 仍可对应离散分配。

4. Sinkhorn-Knopp 近似：标准 OT 在 ImageNet 规模不可用；熵正则化后 Q 可写成 diag(alpha) P^lambda diag(beta)，通过矩阵缩放迭代满足边际约束。它解决的是 scalability，而不是新的语义建模。

5. 多头 self-labelling：多个 head 共享 backbone，各自学习一个 balanced partition。它的作用是增加训练信号的多样性，避免单一划分过窄。实验上增益很大，尤其 ResNet，但这部分更像 ensemble/multi-task regularization，理论解释相对弱。

6. 数据增强：增强使同一图像的不同变换共享伪标签倾向，提供不变性约束。它对视觉表征非常关键，但属于整个自监督视觉领域共用的核心工程条件，不是 SeLa 独有贡献。

Key Insight / Why It Works

这篇最重要的 insight 是：无监督分类式训练的核心不是找到真实类别，而是构造一个高熵、非塌缩、可预测的离散 bottleneck。只要这个 bottleneck 与图像变化中的稳定因素对齐，CE 就能训练出有迁移性的表示。

SeLa 有效的机制更像是“全局 balanced assignment + 局部 confident prediction”的协同。全局均衡迫使模型利用数据集覆盖面，把样本分散到许多伪类；局部交叉熵又迫使表示把这些伪类线性分开。这个过程不断自举：更好的表示产生更稳定的 assignment，更稳定的 assignment 反过来提供更干净的分类监督。

真正核心贡献是把 collapse prevention 写成 OT 边际约束，而不是启发式 rebalancing。DeepCluster 也会近似产生 balanced clusters，但那是 K-means 和采样策略的副产物；SeLa 把它作为优化问题的一等公民。这使得方法的稳定性更可解释。

但需要直接说：性能增益不全来自这个理论改写。多头、强 augmentation、长训练、ResNet 生成标签再迁移到 AlexNet、额外 RotNet loss 都在结果里起重要作用。尤其 label transfer 结果说明，最终伪标签质量可能比 joint optimization 过程本身更关键；一旦有好标签，普通 supervised CE 就能复现甚至改进表示。

这不是 retrieval，也不是 memory bank contrastive；它更接近一种 constrained pseudo-label classification。它学习的 latent structure 可能是语义类别、姿态、纹理、背景、颜色等因素的混合。所谓“self-labelling”不是发现真实标签，而是在数据分布上制造多个可泛化的判别 partition。

文中对为什么多头在 ResNet 上带来巨大提升解释不足。我的判断是，多头主要缓解单一 balanced partition 的偏置，并提供更丰富的梯度覆盖；这更像监督信号扩增，而不是新的聚类理论。

Relation To Prior Work

最接近的是 DeepCluster。两者都走“伪标签 + CE 训练”的谱系，而不是 instance discrimination / contrastive learning。区别在于 DeepCluster 的伪标签来自 feature-space K-means，SeLa 的伪标签来自 prediction-space OT assignment；前者是生成式聚类外接判别训练，后者是带边际约束的判别式自标注。

与 IIC / mutual information clustering 也有亲缘关系：都在避免 trivial solution，并通过最大化标签使用熵与预测确定性来学习聚类。SeLa 的新增点是把这个思想转化成大规模离散 assignment 的 optimal transport 求解，并直接服务于 ImageNet 级 representation learning。

与 instance discrimination 相比，SeLa 不把每张图当成单独类别，因此 supervision 更压缩、更具聚类结构；但也少了 instance-level discrimination 的细粒度约束。与 contrastive 方法相比，它不依赖 negative sampling 或 memory queue，而是依赖全局 assignment 的均衡先验。

哪些是已有思想重组：伪标签、交叉熵训练、互信息最大化、Sinkhorn OT、multi-head 都不是全新概念。实质创新在于把它们组织成一个可扩展的 simultaneous clustering and representation learning 目标，并明确指出 K-means + representation learning 的目标不一致问题。

Dataset / Evaluation

评估覆盖相当广：ImageNet 线性 probe、Places 迁移、小规模 CIFAR/SVHN、PASCAL VOC 分类/检测/分割 fine-tuning，以及人工不平衡数据实验。这些基本支撑了“该方法能学到可迁移视觉表征”和“相比 K-means 伪标签更稳”的 claim。

最有说服力的部分不是单个 SOTA 数字，而是三类现象：第一，self-labelling step 缺失时性能明显差，说明不是纯 augmentation 在起作用；第二，Sinkhorn assignment 优于 K-means baseline，说明 balanced OT 不是形式主义；第三，伪标签可跨架构 transfer，说明标签本身携带可复用监督信息。

但 evaluation 也有明显 limitation。与同期 contrastive 方法比较时，训练配置、augmentation、架构、评估协议并不完全统一；一些最好结果还混入 label transfer、RotNet、多头、更强增强。Benchmark 支持“SeLa 是强 clustering-based SSL 方法”，但不足以严格证明“OT formulation 是全部性能提升来源”。

没有真实世界 deployment 或机器人实验，尽管标签里有“机器人”。本文本质上是离线视觉表征学习论文，所有验证都在标准静态图像 benchmark 上。

Limitation

最大隐含前提是 equipartition：每个伪类应占相等样本数。这个假设不是关于真实类别，而是关于训练信号的正则化。它在 ImageNet 这种大规模、多样、相对均衡的数据上可能有效，但在长尾、开放集、持续学习或数据流场景里可能强行切分 rare modes 或合并 frequent modes。

方法把 collapse 问题转移成了 assignment prior 的设计问题。均衡约束防止 all-to-one collapse，但不保证语义对齐；模型可能学到背景、纹理、颜色、姿态等捷径，只要这些因素能形成稳定 balanced partition。伪类可视化显示部分簇很语义化，但整体并不等价于类别发现。

Scalability 虽然比精确 OT 好，但仍需要周期性全数据集预测和全局矩阵缩放；这对纯在线训练、极大类别数、动态数据集不自然。Sinkhorn 是工程上可行，不代表没有系统开销。

增益归因不清。多头带来很大提升，label transfer 也带来提升，额外 RotNet 和更强 augmentation 继续提升；这些使得核心 OT 贡献和工程 recipe 的边界变模糊。文中未充分说明多头为何在 ResNet 上提升如此显著，也未充分隔离 augmentation 对伪标签质量的影响。

泛化更多是标准 benchmark 意义上的迁移，不是证明模型学到了抽象语义推理。这里没有 reasoning / planning；若把结果解释成语义理解会过度。

Takeaway

  • 1. 对 clustering-based SSL 来说，防塌缩机制应当进入目标函数，而不是依赖 K-means、采样平衡或训练细节。
  • SeLa 推动了后续 SwAV/DINO 类 balanced assignment / self-distillation 思路的一部分直觉。
  • 2. 高质量伪标签可以作为可迁移资产。
  • Label transfer 说明自监督学习不一定要每个模型都重新做复杂 joint learning；强模型离线生成离散 targets，再训练其他模型，是值得迁移的范式。

一句话总结

SeLa 是从 DeepCluster 式“聚类后监督”走向 SwAV/DINO 式“带均衡约束的在线/离线自标注”的关键过渡工作，其真正贡献是把无监督伪标签训练中的防塌缩机制形式化为可扩展的最优传输 assignment。