Awesome Self-Supervised Learning / 理论

What shapes the loss landscape of self supervised learning?

作者：Ekdeep Singh · 单位：& Informatics Laboratories, NTT Research, Inc., Sunnyvale, CA, USA, nce, Harvard University, Cambridge, USA, ries, NTT Research, Inc · 来源：ICLR 2023 · 类别：理论 · 发布日期：2022-10-02

自监督学习综述理论三维特征

精读笔记

Problem Setting

论文标题：What shapes the loss landscape of self supervised learning?（ICLR 2023 / 2022）

这篇论文实际处理的是 SSL 表示塌缩的 landscape-level attribution：给定一类 SSL loss，什么时候原点 W=0 是稳定的，什么时候某些表示方向无法从原点逃逸，什么时候所有非零表示都消失。它关心的不是 collapse 的表面现象，而是 collapse 是否是 loss landscape 的必然 stationary-point 结构。

真正困难点在于 collapse 不是单一机制。augmentation 会同时提供正样本不变性和破坏性噪声；contrastive denominator 既提供 repulsion，也通过 log-sum-exp 带来高阶稳定；normalization 看似防止范数塌缩，但可能改变相对谱条件，使 dimensional collapse 更容易。以前方法大多从经验 singular spectrum、linearized dynamics 或防 collapse regularizer 出发，很难回答“这个方向为什么塌、另一个方向为什么不塌”。

关键矛盾是：SSL 需要对 augmentation 不敏感，但如果 augmentation 覆盖了任务相关方向，就会把有用维度也压掉；如果 augmentation 精准覆盖 nuisance direction，collapse 反而是获得 invariance 的机制。论文试图把这个矛盾写成数据协方差 A0 与 augmentation 协方差 C 在 loss Hessian 中的竞争。

Motivation

已有路线不够的地方在于，它们往往把 collapse 当作坏的优化结局，而不是 loss 本身允许甚至偏好的相结构。Jing et al. 等工作已经指出 feature strength 与 augmentation strength 的竞争，但更多是在 dynamics 或经验层面；作者认为仅有这个说法还不够，因为 competition 是否导致 collapse 取决于具体 loss 的二阶项符号，而不是 augmentation 强弱本身。

作者的关键观察是：很多 SSL loss 只依赖表示之间的相对内积或距离，因此对表示空间全局旋转不敏感。在 W=0 附近，这种 symmetry 迫使奇数阶项消失，局部景观由二阶项决定稳定性，由四阶项决定非零解的幅度。这使 collapse 可以被看成类似 Landau theory 的 symmetry breaking / phase transition：某个方向的二阶系数从负变正，非零 order parameter 消失。

缺口不是缺一个新 loss，而是缺一个能统一解释 InfoNCE、NT-Xent、SCL、BT/VICReg、normalization、bias、weight decay 对 collapse 影响的低维可解析对象。论文的野心在于把复杂 SSL 训练现象压缩到一个有效 Hessian B 的谱。

Core Idea

核心思想是：不要直接研究完整深网的全局 loss，而是研究最后线性层 W 在原点附近的 effective landscape。对一大类 SSL loss，局部形式可以写成 L = -Tr[WBW^T] + 四阶稳定项。这里 B 是真正决定 collapse 的对象；它的正特征值方向会发展出非零表示，非正特征值方向保持在零，即 dimensional collapse。

这个建模方式改变了 collapse 的解释单位：从“算法是否防 collapse”变成“loss 在每个协方差 eigenmode 上是否允许 symmetry breaking”。InfoNCE 的 B 基本是 A0，所以 vanilla InfoNCE 在这个理论下不因 additive augmentation 发生 collapse；NT-Xent / weighted InfoNCE 的 B = A0 - (1-α)C/N，因而强 augmentation 或小数据相关项可能压掉某些方向；SCL 的有效方向更多由 C 决定，因此对数据 imbalance 的敏感性不同。

和 prior 的本质区别是它不把 collapse 归因于训练动态的偶然路径，而是归因于 stationary point 集合的谱约束。这个差异很重要：如果某方向 B≤0，那么所有局部最小值都不使用该方向，靠 optimizer bias 无法“选一个不塌的好 minimum”。

Method

1. 局部展开：作者把 InfoNCE 写成 energy term 加 entropy / repulsion term，并在 W=0 附近展开。二阶 repulsion 会抵消 augmentation covariance C 的一部分，只留下由 A0 或 A0-C 组合控制的 Hessian；四阶 variance term 防止 W 无限增大。这个步骤解决的是“SSL loss 的局部几何到底由什么组成”。

2. 统一有效形式：将多个 loss 归约为 L = -Tr[WBW^T] + Var[||W(x-χ)||^2]/8。这里不是为了形式美，而是为了把 collapse 判据统一成 B 的谱问题。不同 loss 的本质差别被压缩成 B 如何依赖 A0、C、N 和 loss weighting。

3. Gaussian 闭式解：在 Gaussian 数据/噪声下，四阶项化为 Tr[WΣW^T WΣW^T]，stationary points 满足 W^T W 与 Σ^{-1/2}BΣ^{-1/2} 的 masked eigenmodes 对齐。mask 表示哪些方向被激活。这个机制直接给出 local minima 的最大可能 rank：rank = min(B 的正特征值数, 表示瓶颈维度)。

4. normalization / bias 分析：normalization 被建模为平均范数正则 R=(E||f(x)||^2-c)^2。它不会简单消除 collapse，而是在 B 上加入依赖当前范数的 Σ 项，使 collapse 变成相对谱条件。bias 在无 normalization 时因平移不变性基本无影响，但与 normalization 结合时，W=0、b 满足范数约束会成为容易达到的解，因此可能促进 complete collapse。

5. β-InfoNCE 推论：通过给 entropy term 加 β，作者构造可控 collapse 的旋钮，使 B = A0 - (1-β)C。它解决的是现有 loss 对 collapse 强度不可控的问题，但这更像理论推论和机制 probe，不是论文主要工程贡献。

Key Insight / Why It Works

最核心贡献是把 SSL collapse 解释为原点局部稳定性的谱相变。这个判断很强：dimensional collapse 不是“表示维度没用起来”的后验描述，而是某些 eigenmode 的二阶项从鼓励离开原点变成鼓励留在原点。四阶项只是在允许非零的方向上形成 finite-radius minima，不决定是否 collapse。

真正有效的原因在于 rotational symmetry。SSL loss 通常不关心表示坐标系，因此 W 和 RW 等价；这种 symmetry 让 landscape 在原点附近具有 Landau 型结构。只要接受最后层局部展开，B 的谱就自然成为 order parameter 的质量项。这个理论解释了为什么看起来不同的 loss 会共享相似 collapse 相图，也解释了为什么 normalization、weight decay、bias 这种“工程细节”能改变 collapse：它们本质是在改二阶谱或可行约束。

论文中最值得迁移的 insight 是：augmentation 的作用不应只以强弱衡量，而应以它在 feature eigenspace 中改变哪些方向的 Hessian 来衡量。好的 collapse 是 targeted invariance：压掉 nuisance direction；坏的 collapse 是 uninformative augmentation 随机压掉 task-relevant direction。因此 collapse 本身是中性的，关键是 C 是否对齐下游任务的不变因子。

哪些可能只是辅助：ResNet/ViT 的 landscape 可视化主要是定性支持，不是严格验证；β-InfoNCE 是从理论直接导出的控制变量，但是否在真实大规模 SSL 中优于现有 recipe，文中未充分说明；imbalance 实验也更像验证“B 依赖 A0 或 C”的机制，而不是完整证明 SCL 普遍更鲁棒。

归因上，这篇不是 scaling、retrieval、memory reuse 或 test-time compute；它主要是 better mechanistic model / inductive bias analysis。它没有通过更多数据或更大模型获得效果，而是给出一个解释框架：representation alignment 与 invariance 的成败取决于局部谱结构。

Relation To Prior Work

最接近的是 Jing et al. 关于 dimensional collapse 的分析，以及 Tian 等关于 SSL dynamics / PCA-like behavior 的工作。区别在于本文不以训练动态为中心，而是直接解 landscape stationary points；因此它能说清楚哪些 collapse 是所有 local minima 共有的结构性结果，哪些只是可能由 dynamics 导致的鞍点收敛。

和 alignment-uniformity 视角相比，本文更局部、更谱化。alignment-uniformity 解释 contrastive learning 的全局几何目标，但不容易给出某个维度 collapse 的判据；本文把 uniformity/repulsion 的影响拆成二阶和四阶项，指出二阶项才决定原点稳定性。

和防 collapse 方法如 VICReg、Barlow Twins、whitening 类方法相比，本文的贡献不是提出另一个 regularizer，而是指出 normalization / variance regularization 并不天然防止 dimensional collapse；如果正则强度、bias 或约束形式不合适，collapse 仍会发生。这是对“加 variance term 就解决 collapse”的经验叙事的修正。

和 Cosentino et al. 关于有益 collapse 的经验发现相比，本文提供了一个机制解释：有益性来自 augmentation covariance 对齐 task-irrelevant subspace，而不是 collapse 本身有魔法。这个新增信息比较实质，因为它把“适度 collapse 有益”转化为“定向删除 nuisance eigenmodes 有益”。

看似新但其实是已有思想重组的部分：Landau theory / symmetry breaking 类比在深度学习理论中已有脉络；最后层线性化也是常用简化。实质创新在于把这些工具具体落到多个 SSL loss，并给出 B 的谱判据与 stationary point rank 结论。

Dataset / Evaluation

评估覆盖两类：机制验证和推论验证。机制验证包括线性模型、非线性小网络、ResNet18、ViT 上的最后层 rescaling landscape；推论验证包括 β-InfoNCE 控制 collapse、CIFAR-10 imbalance 下比较 InfoNCE / SCL。整体上实验设计服务于理论 claim，而不是追求 benchmark 性能。

这些实验能支持“局部原点几何与 collapse 相图相关”的 claim，尤其是最后层 rescaling 在 CNN 和 ViT 上呈现类似 phase transition 的定性图像。但它们没有完全证明深网训练中的 collapse 主要由最后层 landscape 决定，因为训练时 ϕ 会共同变化，且 projector、BN、optimizer 会显著改变 dynamics。

imbalance 实验的解释是合理但有限的：如果 InfoNCE 的 B 更依赖 A0，那么类不平衡改变 A0 会影响表示；SCL 若更依赖 C，则可能更稳。但真实 augmentation covariance 是否独立于 imbalance、以及 projector head 为何削弱差异，文中没有充分展开。没有真实世界部署或大规模多任务评估，这对理论论文不是致命问题，但限制了工程外推。

Limitation

最大前提是局部理论：原点附近二阶项决定 collapse，但实际训练是否经过或受控于原点局部区域，依赖 initialization、learning rate、normalization layer 和 optimizer。论文承认 dynamics 可能导致收敛到 saddle 或其他 collapsed solution；这意味着 landscape cause 不是 collapse 的唯一成因。

第二个前提是数据/augmentation 的协方差建模。Gaussian additive noise 和 A0、C 可交换假设让解析结果干净，但真实 SSL augmentation 是 crop、color jitter、blur、masking、view sampling，通常是数据依赖且非线性的。附录给了一个非 Gaussian rescaling augmentation 例子，但远不能覆盖真实视觉增强。如何估计真实 C 并判断其与 task-relevant subspace 的关系，文中未充分说明。

第三，normalization 被建模为平均范数正则，不等同于实际逐样本 L2 normalization、BatchNorm、LayerNorm 或 VICReg 的非光滑 variance term。结论方向有启发性，但具体 collapse threshold 不应直接当成工程预测。

第四，β-InfoNCE 的可控 collapse 依赖知道该压掉哪些方向。如果 augmentation 没有领域知识，所谓 good collapse 很可能只是随机丢维度；增益来源不清，甚至可能主要来自正则化和降低有效容量，而不是学到更语义的 invariance。

第五，对深层非线性模型的泛化证据偏定性。最后层 rescaling landscape 像线性理论，不等价于完整参数空间的 stationary point 结构相同。核心能力不是 scaling 获得，但理论上限也正卡在可解析简化与真实训练机制之间。

Takeaway

  • 1. SSL collapse 最值得看的对象不是最终 singular spectrum，而是原点附近 Hessian 的谱；B 的正负特征值直接决定哪些 eigenmodes 能发生表示学习。
  • 2. augmentation 是双刃剑：它只有在对齐 nuisance directions 时才让 collapse 变成 invariance；否则就是不可控的信息删除。
  • 未来更重要的问题不是“防 collapse”，而是“设计可定位 collapse 的 augmentation / loss”。
  • 3. normalization、bias、weight decay 不是无害工程细节，它们会实质改变 collapse 相图。

一句话总结

这篇论文把自监督表示塌缩从经验故障重新定义为 SSL loss 原点局部谱稳定性的相变问题，真正贡献是给出了跨 InfoNCE、NT-Xent、SCL、VICReg 等方法的统一 landscape 判据，而不是提出新的工程型 SSL 方法。