Awesome Self-Supervised Learning / 图学习

Deep Graph Infomax

作者：Petar Veličković, William Fedus, William L. Hamilton, Pietro Liò, Yoshua Bengio, R Devon Hjelm · 单位：– Qu´ebec Artificial Intelligence Institute · 来源：ICLR 2019 · 类别：图学习 · 发布日期：2019

自监督学习综述图学习

精读笔记

Problem Setting

论文标题：Deep Graph Infomax（ICLR 2019 / 2019）。

这篇论文实际处理的是 GNN 时代的无监督节点表示学习：给定节点特征和图结构，不使用标签训练 encoder，然后用节点 embedding 做下游节点分类。问题的关键不在于“如何定义节点分类”，而在于：当 encoder 已经是 GCN / GraphSAGE 这类会聚合邻域的模型时，无监督目标到底还能提供什么额外信息。

此前主流路线是 DeepWalk、node2vec、LINE、GraphSAGE-unsup 这类 random-walk / local context prediction。它们的基本假设是 proximity：图上近的节点 embedding 应该近。但 GCN 本身已经把邻域平滑和局部聚合写进架构里，继续用随机游走目标很可能只是重复强化同一个 bias。更严重的是，random walk objective 对结构角色不敏感，容易把“位置邻近”当成全部信号。

因此这篇论文面对的核心矛盾是：无监督目标既要足够 general，不依赖标签；又不能只是重构邻接或预测近邻，否则与 GNN 架构的 inductive bias 重叠，给不出新的表示学习压力。DGI 的答案是把目标从 local-local prediction 改成 local-global agreement。

Motivation

作者的观察很直接：图无监督表示学习长期被 random walk 主导，但 random walk 本质上是局部共现建模，偏 proximity，不擅长捕捉远距离但结构角色相似的节点。与此同时，图卷积 encoder 已经天然把邻域信息混入节点表示，用 random walk 再监督一次邻接近邻，信息增量有限。

另一个动机来自 Deep InfoMax：在图像里，最大化局部 patch 与全局 image representation 的互信息，可以鼓励局部表示携带全局相关因素。DGI 将这个思想迁移到图：节点 embedding 被视为以节点为中心的 patch representation，整图 readout 被视为 global summary。关键缺口是图领域缺少一个不依赖随机游走、又能直接训练 GNN encoder 的 self-supervised objective。

这里“缺什么”比“怎么做”更重要：缺的是一个能把全图统计反馈给每个节点 patch 的训练信号。随机游走只告诉节点“你附近是谁”；DGI 试图告诉节点“你是否来自这个图的整体分布”。

Core Idea

DGI 的核心不是某个具体 GCN 公式，而是重新组织了图表示学习的信息流：从节点-节点局部预测，改成节点 patch 与图级 summary 的一致性判别。正样本是同一图中的 patch-summary pair；负样本是 corrupted graph 的 patch 与原图 summary 的 pair。训练目标是让 discriminator 判断一个局部 patch 是否属于该全局上下文。

这个建模方式引入了一个新的 inductive bias：一个好的节点表示不仅应该解释自身邻域，还应该与其所在图的全局统计兼容。这样，远距离但共享结构角色或语义模式的节点，有机会通过同一个 graph summary 被拉到相似的表示空间，而不是只能通过 random walk 共现建立联系。

与 prior 的本质区别在于，DGI 不要求模型预测邻居、路径或边；它要求模型识别局部-全局依赖。这使它天然可插到不同 GNN encoder 上，也更容易迁移到 inductive 设置，因为目标并不依赖固定节点 ID 或预先采样的 walk corpus。

Method

方法层面真正必要的机制只有以下几项。

1. Patch encoder：用 GNN 将每个节点编码为 patch representation。它解决的是“节点表示必须包含局部结构上下文”的问题。这里 GNN 不是创新点，而是使 local variable 不只是 raw feature，而是局部子图统计。

2. Graph readout：把所有 patch 表示聚合为 graph summary。它解决的是“如何定义全局变量”的问题。DGI 用平均池化加 sigmoid，这很简单，甚至偏弱；但机制上它提供了 local-global contrast 的 anchor。没有这个 summary，目标会退化回 local-local 对比。

3. Corruption / negative sampling：通过打乱特征或采样其他图构造负 patch。它解决的是“如何近似 product of marginals”的问题。更实际地说，它决定模型到底学什么：feature shuffling 会迫使模型识别特征-结构错配；adjacency corruption 会迫使模型识别连接模式变化；多图负样本会迫使模型区分图分布。

4. Discriminator：用 bilinear score 判断 patch-summary pair 是否一致。它解决的是可优化的 MI lower-bound / JS divergence surrogate 问题。这里的 discriminator 不是重点，重点是把 MI maximization 变成二分类。

论文中的理论部分说明了在有限集合、确定性 readout、可逆/单射等较强条件下，区分 joint 与 product of marginals 与最大化互信息相关。但这更像合理化 objective，而不是对实际 GNN 表示质量的严格保证。

Key Insight / Why It Works

DGI 真正有效的原因大概率不是“精确最大化了互信息”，而是它给 GNN 加了一个全局一致性正则。GCN/GraphSAGE 已经会让邻居相似；DGI 进一步要求每个局部 patch 能被整图 summary 解释。这会鼓励 embedding 捕捉图中反复出现、全局稳定的统计因素，例如主题社区、结构角色、局部特征-拓扑共现模式。

最核心的贡献是把图上的自监督信号从 proximity prediction 改成 representation alignment：local representation 与 global context alignment。这个变化很重要，因为它避免了随机游走目标对近邻共现的过度依赖，也绕开了 walk length、window size、negative sampling ratio 等脆弱超参数。

但必须直接说：DGI 的增益归因并不干净。论文自己报告 Random-Init GNN 已经很强，尤其在 inductive 数据集上随机初始化 encoder 的表示就有相当高性能。这说明 benchmark 中存在很强的 feature/structure homophily，GNN 架构本身已经提取了大量有用统计。DGI loss 的作用更像是在这个基础上做 alignment 和 denoising，而不是从零发现复杂结构。

corruption function 是方法成败的隐含核心。feature shuffling 负样本会制造“节点特征放错结构位置”的对比任务，因此模型可能主要学到 feature-structure compatibility。这对 citation networks 很有效，因为 bag-of-words 与 citation topology 强相关；但它不一定等价于通用结构理解。如果 corruption 太容易，discriminator 可能抓 shortcut；如果 corruption 太弱，学习信号不足。论文附录显示不同 corruption 下较稳定，但没有彻底排除 shortcut learning。

此外，所谓 mutual information 最大化也有上限：MI 本身不保证 task-relevant。最大化 local-global MI 可能保留大量与下游无关的信息。DGI 在节点分类上有效，是因为这些 benchmark 的标签与全局图统计高度耦合；换到异质、多任务或弱同质图，local-global agreement 未必对应语义类别。

Relation To Prior Work

DGI 最接近的谱系不是传统 graph embedding，而是 contrastive self-supervised learning / Deep InfoMax 在图上的早期实例。它与 DeepWalk/node2vec/GraphSAGE-unsup 的差异不是“是否对比学习”——它们也有 contrastive / negative sampling——而是对比对象不同：prior 多为 node-node 或 node-context；DGI 是 node-patch 与 graph-summary。

相对 VGAE / adjacency reconstruction，DGI 不直接重构边，因此不把表示能力浪费在逐边重建上，也避免了 O(N^2) adjacency decoder 的扩展性问题。它更像在学习图分布级别的判别特征，而不是生成图结构。

相对 CPC，DGI 不是预测未来或邻域中某个结构指定部分，而是用全局变量与所有局部变量同时对齐。它的“新”主要是把 DIM 的 local-global MI 思想移植到 GNN 表示学习，并用 corruption 适配单图场景。严格说，MI / JS / contrastive objective 本身不是新东西，bilinear discriminator 也不是；实质创新在于图上的正负样本组织方式，以及指出 random-walk objective 与 GNN encoder 的 bias 重叠问题。

这篇论文也可以看作后续 GraphCL、MVGRL、GRACE、BGRL 等图对比学习的前身之一：它已经具备 encoder、augmentation/corruption、contrastive objective、readout/global context 这些基本元素，只是还没有后续工作中更系统的 view augmentation、negative-free learning 或 multi-scale contrast。

Dataset / Evaluation

实验覆盖了三个典型场景：transductive citation network、单个大图 inductive Reddit、多图 inductive PPI。这个覆盖在 2019 年是有说服力的，至少说明 DGI 不只是固定图上的 embedding trick，也可以套到采样式 inductive GNN 上。

评价方式是先无监督训练 encoder，再冻结表示训练 logistic regression。这是合理的线性探针设置，能检验 embedding 是否线性可分。但它仍然强依赖节点分类 benchmark，而这些数据集普遍存在 label homophily、feature-label correlation 和结构-语义耦合。DGI 的核心 claim 是“local-global MI 有助于学习结构-aware 表示”，实验更多证明了“这种 objective 在这些 homophilic node classification benchmark 上有用”。

与 supervised GCN 的比较需要谨慎。DGI 有时超过 supervised GCN，但 supervised GCN 使用极少标签且容易过拟合，两者训练信号规模完全不同：DGI 可利用所有节点特征和结构做自监督。这不是隐藏监督，但确实是 data coverage advantage。说它“超过监督”容易误导，准确说是：在低标签节点分类设置下，全图自监督预训练比稀疏标签监督更稳定。

PPI 上与强 supervised 方法仍有明显差距，说明 DGI 的泛化并非无条件成立。尤其当节点特征稀疏、任务多标签且跨图分布复杂时，简单 global summary + corruption 的信号不足。

Limitation

1. 依赖 corruption 的语义正确性。DGI 把“构造负样本”当成近似 product of marginals，但实际负样本分布由人为 corruption 决定。模型学到的是区分真实图和被破坏图，而不一定是下游语义结构。这个问题被转移到了 augmentation/corruption design。

2. Global summary 过粗。mean readout 对小型 citation graph 够用，但对大规模、多社区、异质图会平均掉局部模式。单个 summary 假设整图存在可压缩的全局语义，这在 web-scale heterogeneous graph 中很可疑。

3. MI 理论保证很弱。论文理论建立在有限样本、确定性 readout、单射、状态空间大小等强假设上，与实际连续 embedding、非凸优化、有限负样本训练之间有明显 gap。文中未充分说明实际优化的 JS surrogate 与最终节点表示质量之间的必然关系。

4. 增益来源不清。Random-Init baseline 已经很强，说明 GNN 架构、数据 homophily、特征质量贡献巨大。DGI loss 到底贡献了多少“结构理解”，多少只是 representation alignment / regularization，论文没有完全拆开。

5. Scalability 上限不在 encoder，而在 contrast granularity。大图中 summary 只能用 minibatch patch 近似，local-global 对比变成 local-minibatch agreement，是否仍代表全图统计并不明确。对于动态图、异质边、多关系图，简单 corruption 和 readout 都需要重做。

6. 泛化 claim 需要克制。DGI 的 inductive 表现说明它可以在 unseen nodes/graphs 上运行，但不等于学到了跨分布泛化机制。泛化很可能依赖训练图与测试图共享特征空间、结构统计和标签语义。

Takeaway

  • 1. 这篇真正推动的是图自监督学习目标的转向：从 random-walk proximity prediction 转向 contrastive representation alignment，尤其是 multi-scale local-global alignment。
  • 2. 对 GNN 来说，无监督目标不能简单重复 message passing 的邻域平滑 bias；好的目标应该提供架构本身没有的统计压力。
  • DGI 的全局 summary 正是这种额外压力。
  • 3. corruption / augmentation 是图对比学习的核心，不是附属细节。

一句话总结

Deep Graph Infomax 是图对比学习早期的关键转折点：它把无监督 GNN 训练从随机游走式局部共现预测推进到 local-global mutual-information alignment，但其有效性很大程度依赖 corruption 设计、数据同质性和 GNN 本身的 inductive bias。