Awesome Self-Supervised Learning / 计算机视觉

Improving Unsupervised Image Clustering With Robust Learning

作者：Sungwon Park, Sungwon Han, Sundong Kim, Danu Kim, Sungkyu Park, Seunghoon Hong, Meeyoung Cha · 来源：CVPR 2021 · 类别：图像表征学习 · 发布日期：2021

自监督学习表征学习图像表征聚类

精读笔记

Problem Setting

《Improving Unsupervised Image Clustering With Robust Learning》（CVPR 2021）处理的是无监督图像聚类中的“pseudo-label 错误累积与过度自信”问题，而不是提出一个全新的聚类范式。

更准确地说，它假设已有 clustering method 已经能给出一组还不错的类别分配，但这些分配里混有错误标签。问题在于，很多 deep clustering 方法的训练目标会鼓励低熵预测和类间分离，导致早期错分样本被模型越来越自信地吸收进错误簇中。错误一旦进入训练闭环，就不再只是 prediction error，而会变成 representation/decision boundary 的结构性偏差。

以前方法卡在两个地方：一是 clustering objective 本身通常没有显式噪声建模，只能通过 entropy balancing、augmentation consistency、nearest-neighbor consistency 间接约束；二是 pseudo-label 被当成“事实”使用，缺少可靠性分层。这个任务的关键矛盾是：无监督聚类必须利用自己的预测作为学习信号，但这些预测又是最主要的噪声来源。RUC 的切入点就是把这个自举过程改写成 noisy-label robust learning 问题。

Motivation

作者对已有路线的不满并不是“聚类目标不够强”，而是这些目标天然会制造过度自信。互信息最大化、熵平衡、邻域一致性等目标都在推动样本被压进明确簇结构里；这对避免 collapse 有用，但对边界样本或错分样本很危险，因为模型会把不确定性抹掉。

核心观察是：已有 clustering model 输出的 pseudo-label 并非完全不可用，它包含大量 clean signal；但直接把它当 ground truth 会导致 memorization。于是缺口变成：如何在没有真标签的情况下估计 pseudo-label 的可信度，并在保留 clean supervision 的同时降低 noisy samples 的负梯度影响。

这自然把问题引向 noisy-label learning / semi-supervised learning：clean pseudo-label 作为 labeled set，不可信样本作为 unlabeled set，再通过一致性、增强、软标签、双网络等机制修正。这个动机是合理的，因为它没有试图重新定义“什么是类”，而是承认已有模型已经给出了一个 noisy partition，然后专注于 denoise partition。

Core Idea

RUC 的真正核心是一次建模视角转换：把无监督聚类模型的输出视为一个带噪声标签的数据集，而不是继续在原始 clustering loss 上做改良。这让问题从“如何设计更好的无监督目标”转为“如何从 noisy pseudo-label 中恢复更可信的监督信号”。这个转换很关键，因为 robust learning 领域已有一整套处理标签噪声、样本选择、半监督利用未标样本的工具。

它引入的 inductive bias 是：高置信/邻域一致的 pseudo-label 更可能正确；低置信或与 embedding neighborhood 不一致的样本不应直接提供 hard supervision；未标样本仍可通过 consistency regularization 和 label guessing 贡献边界信息。信息流因此被重新组织为：initial clustering → reliability estimation → robust semi-supervised retraining → dynamic relabeling/refurbishing。

和 prior 的本质区别在于，SCAN/TSUC 等方法仍在做 representation-cluster assignment alignment，而 RUC 站在这些方法之后，把它们的输出当 noisy supervision 进行再学习。它不是更强的 clustering objective，而是一个 clustering refinement layer。这也解释了为什么它比较 generalizable：只要上游方法能输出 pseudo-label，RUC 理论上都能接上。

Method

RUC 的方法不应理解为模块堆叠，而应理解为几条噪声控制路径。

第一，clean/noisy split 解决的是错误监督入口问题。confidence-based 策略相信模型最高置信样本，metric-based 策略用外部自监督 embedding 的 kNN 一致性验证 pseudo-label，hybrid 则提高 precision。这里核心不是具体阈值，而是把 pseudo-label 的监督权重离散化：可信样本可以当 label，不可信样本先剥夺 hard label。

第二，semi-supervised retraining 解决的是数据利用率问题。直接丢弃 noisy samples 会损失大量数据覆盖，尤其在聚类任务中边界样本对 decision boundary 有价值。MixMatch 类方法把 unclean set 作为 unlabeled data，通过增强一致性、label guessing 和 MixUp 让其以软方式参与训练。核心变化是 noisy sample 不再直接推动某个错误类别，而是通过一致性约束影响局部结构。

第三，label smoothing 解决过度自信和错误标签记忆。它弱化 hard pseudo-label 的梯度强度，使 clean set 中残留的错误标签不至于被完全 memorized。对于聚类伪标签，这点尤其重要，因为所谓 clean set 只是 high precision，不是 noise-free。

第四，co-training/co-refinement 解决自我确认偏差。单网络用自己的预测更新自己的标签，容易把初始错误闭环放大；双网络互相提供预测，虽然不能从根本上保证独立性，但能降低同一模型误差的直接反馈。co-refurbishing 则是 curriculum：训练过程中逐步把高置信未标样本纳入 clean set，本质是动态扩大可信监督集。

Key Insight / Why It Works

最核心的有效性来源大概率不是某个单独模块，而是“把 clustering refinement 变成 noisy-label semi-supervised learning”这个重构。它把原本无监督聚类中最危险的部分——错误 pseudo-label 的闭环强化——拆成了可靠性估计、弱监督学习、动态修正三个阶段。

RUC 有效的第一原因是 high-precision clean set 提供了一个较稳的 anchor。只要初始聚类模型已经足够好，高置信样本通常是类中心或典型样本；用这些样本再训练分类器，相当于围绕更干净的 class prototypes 重建 decision boundary。这更像 curriculum learning：先从容易、典型、可信的样本学，再逐步吸收难样本。

第二个原因是它利用了未标样本的 data geometry，而不是完全相信其 pseudo-label。MixMatch/MixUp/augmentation consistency 会把边界推到低密度区域，这与 clustering assumption 一致。换句话说，RUC 的改进并不是“理解了更深语义”，而是更好地利用已有 representation 中的局部结构来平滑分类边界。

第三个原因是 calibration 改善。SCAN 等方法的低熵输出对聚类 accuracy 未必总是坏事，但对后续自训练很危险。label smoothing、MixUp 和 co-training 都在削弱过度自信，使模型不那么容易把错分样本当成高置信事实。这解释了为什么 RUC 在 ECE 和 adversarial perturbation 下表现更好。

技术判断：RUC 最实质的贡献是可靠性筛选 + 半监督鲁棒再训练的组合，而不是具体使用 MixMatch、label smoothing 或双网络。后者很多来自已有 noisy-label learning recipe。文中虽然做了 ablation，但增益归因仍不完全干净：到底是 robust learning 的噪声建模在起主要作用，还是强增强/MixUp/额外训练 epoch 带来的 regularization，在论文中未充分说明。

它本质上不是 scaling，也不是 retrieval；更接近 representation alignment + curriculum + label-noise robustification。metric-based strategy 借助外部自监督 embedding 时，有一定 retrieval/representation reuse 成分。如果上游 embedding 很强，RUC 的部分增益可能来自更好的 latent structure，而非 RUC 本身学到了新语义。

Relation To Prior Work

RUC 最接近三条线：deep clustering refinement、pseudo-label/self-training、learning with noisy labels。

相对 SCAN、TSUC、IIC 等 deep clustering 方法，RUC 不再设计新的聚类损失，而是在已有聚类输出之上做鲁棒再训练。这个差异很本质：前者试图通过 unsupervised objective 直接发现簇结构，后者假设簇结构已有雏形，然后修正其中的噪声标签。

相对 Gupta et al. 这类 pseudo-semi-supervised clustering，RUC 的关键区别是没有把 pseudo-label 当干净监督，而是显式承认 pseudo-label 有噪声，并引入 label smoothing/co-training 等机制抑制 memorization。这个区别在初始 pseudo-label 已经较强但仍有系统错误时尤其重要。

相对 DivideMix、co-teaching、loss correction 等 noisy-label learning，RUC 的新意不是具体鲁棒技术，而是把这些技术迁移到无监督聚类输出上，并设计了适配聚类场景的 clean sample extraction。看似新的一些模块其实是已有思想重组：MixMatch 来自 SSL，label smoothing 来自 calibration/noisy label，co-training 来自 co-teaching/DivideMix，refurbishing 来自 noisy sample relabeling。实质创新在于问题重定义和聚类场景下的信息流组织。

Dataset / Evaluation

评估覆盖了 CIFAR-10、CIFAR-20、STL-10、ImageNet-50，基本覆盖了当时无监督图像聚类常用 benchmark，并在两个上游聚类方法 SCAN、TSUC 上展示 add-on 性质。这个设置足以支持“RUC 可以改善已有强聚类模型”的 claim。

但 evaluation 仍然偏标准闭集分类式聚类：类别数已知、数据集干净、类分布相对可控，最终用 Hungarian matching 对齐 ground truth。它没有验证开放集、类别数未知、长尾、细粒度层级语义、多标签/混合语义等真实聚类更常见的问题。因此它验证的是 closed-world unsupervised classification refinement，而不是广义 clustering deployment。

校准实验和 adversarial noise 实验能支持“降低过度自信、提升鲁棒性”的局部 claim，但对真实噪声、分布偏移、跨域泛化的支撑有限。对抗扰动实验更多说明 MixUp/label smoothing/robust learning recipe 带来平滑性，不等价于真实世界鲁棒聚类。

另一个 evaluation limitation 是增益归因不够彻底。RUC 引入了额外训练、强增强、MixMatch、双网络、外部 embedding 验证等多种因素；虽然有消融，但没有完全隔离“更多 compute/更强 regularization”与“噪声建模”之间的贡献。

Limitation

RUC 的核心前提是初始 pseudo-label 已经足够好，至少 clean selection 能拿到高 precision 样本。如果上游聚类模型质量低，或者错误是系统性的，例如某些语义类整体被合并/拆分，RUC 很可能无法恢复，因为它没有外部语义来源，只是在已有 partition 上做去噪和平滑。

clean sample extraction 是方法上限的关键瓶颈。confidence-based 策略依赖模型校准，但论文自己也指出聚类模型常常过度自信；metric-based 策略依赖额外 self-supervised embedding，如果这个 embedding 已经很好，RUC 的增益部分来自 representation reuse。hybrid 策略提高 precision 但可能牺牲 recall，对长尾类别和难样本不友好。

RUC 没有真正解决 cluster semantics 的定义问题。它默认类别数已知，并默认视觉相似性与目标类别一致；当数据存在层级语义、背景偏置、shortcut feature 或多个合理聚类粒度时，robust learning 只能让某个既有划分更稳定，不能判断这个划分是否语义正确。

scalability 上，双网络、MixMatch、多增强、kNN/embedding 检索和多轮再训练都会增加成本。论文在 ImageNet-50 上展示了可用性，但这离真正大规模 ImageNet 或 web-scale clustering 还有距离。可能的瓶颈不只是计算，还有 clean set selection 在海量长尾数据上的可靠性。

增益来源不清。部分提升可能主要来自额外训练轮次、强数据增强、MixUp regularization、soft-label calibration，而不是特定的 robust clustering insight。文中未充分说明如果控制 compute budget、augmentation strength、SSL baseline 后，RUC 的净贡献还有多少。

Takeaway

  • 1. 对强 deep clustering 方法，后处理式 robust refinement 是有效方向：与其继续堆 clustering objective，不如把已有输出当 noisy labels，用成熟的 noisy-label/SSL 工具修正。
  • 2. 聚类中的 overconfidence 不是小问题，而是自训练闭环的核心失败模式。
  • 后续方法如果使用 pseudo-label，都应该显式建模 label reliability，而不是默认 high-confidence prediction 就等于正确。
  • 3. 最可迁移的 insight 是 clean/noisy 分流：在任何无监督/自监督伪监督管线中，把预测按可信度分成 hard supervision 与 unlabeled consistency，比统一 hard pseudo-label 更稳。

一句话总结

RUC 是一篇把无监督图像聚类的后期 refinement 重写为 noisy-label semi-supervised robust learning 的工作，真正贡献在于改变 pseudo-label 的使用方式，而不是提出新的聚类目标。