ProGCL：图对比学习中重新思考难负样本采集

ICMLOct, 2021

ProGCL：图对比学习中重新思考难负样本采集

ProGCL: Rethinking Hard Negative Mining in Graph Contrastive Learning

Jun Xia, Lirong Wu, Ge Wang, Jintao Chen, Stan Z.Li

TL;DR论文提出 ProGCL 模型，通过硬负采样的方式，结合相似度和真实性的概率带来了显著的性能提升，成为当前无监督学习领域的 state-of-the-art 模型之一。

Abstract

contrastive learning (CL) has emerged as a dominant technique for unsupervised representation learning which embeds augmented versions of the anchor close to each other (positive samples) and pushes the embeddings of other samples (negatives) apart. As revealed in recent studies, CL ca

contrastive learning graph neural networks hard negative mining unsupervised benchmarks progcl

发现论文，激发创造

异构图对比学习中的结构感知难例挖掘

本文通过结构感知的硬负样本挖掘方案提出了一个基于自监督学习的对比学习方法，可以在少量标记数据的情况下提高异构图分析模型的准确性，并通过三个真实数据集的实证研究验证了该方法的有效性。

Aug, 2021

我们是否真的需要用于图表示的对比学习？

对比学习在图学习领域吸引了大量研究兴趣，现有的图对比学习方法需要大规模和多样化的负样本来确保嵌入的质量，但这样会引入虚假的负样本，同时增加了计算负担和时间复杂度，为解决这些问题，提出了一种简单而有效的模型 GraphRank，通过引入基于排名的学习来测量相似度得分，成功地缓解了虚假负样本问题，并将时间复杂度从 O (N^2) 降低到 O (N)，并在多个图任务上展开了广泛实验，证明 GraphRank 在各种任务中表现优异。

Oct, 2023

图形对比学习的实证研究

本文提出了一种利用 Graph Contrastive Learning 无人工标注学习图形表示的新范式，并通过对一系列基准任务和各种领域的数据集进行广泛、可控的实验，研究不同的 GCL 组件之间的相互作用，得出了一套有效 GCL 的一般特性与实现技巧。

Sep, 2021

平滑图对比学习中的无缝相似性融合

本文介绍了一种平滑图对比学习模型（SGCL），它利用了扩充图的几何结构来在对比损失中注入与正负节点对相关的接近信息，从而显著规范化学习过程，并通过针对负样本的三种不同平滑技术调整对比损失中节点对的惩罚，以提高在大规模图上的可扩展性，通过在各种基准测试中的大量实验证明了该框架相对于最近的基准方法的优越性。

Feb, 2024

图对比学习的可证明训练

通过提出节点紧凑度作为度量，证明了基于图对比学习在训练过程中存在不平衡问题，并推导了节点紧凑度的理论形式，提出了一种能够更好地遵循基于图对比学习原则的 PrOvable Training (POT) 方法，在多个基准测试中持续提升了现有的基于图对比学习方法。

Sep, 2023

基于邻域排序的图像软对比学习

本文提出了一种新的图形无监督学习方法，名为 Graph Soft-Contrastive Learning (GSCL)，它能够通过邻域排序进行自我监督学习，而无需依赖于二元对比设置，并且还提出了 GSCL 所需的成对和列表式门控排名 infoNCE 损失函数，以保留邻域中的相对排序关系。

Sep, 2022

对抗式课程图对比学习与配对数据增强

提出了一种创新的框架：对抗课程图对比学习（ACGCL），利用成对增强技术生成可控相似性的图级正负样本，并通过子图对比学习鉴别其中的有效图模式。ACGCL 框架内还设计了一种新颖的对抗课程训练方法，通过逐渐增加样本难度来促进渐进学习。最后，通过对六个知名基准数据集进行全面评估，ACGCL 显著超过一组最先进的基准。

Feb, 2024

图形自对比表示学习

本文提出了一种名为 GraphSC 的新型图自我对比框架，它使用图自身通过图增强函数生成正负样本，并使用 Hilbert-Schmidt 独立准则对表示进行分解并引入掩蔽自我对比机制以更好地区分正负样本，同时通过显式减小锚点和正样本之间的绝对距离来加快收敛，并在无监督和迁移学习设置下与其他 19 种最先进方法进行了广泛实验评估。

Sep, 2023

架构的重要性：揭示图对比学习中的隐式机制

通过对图对比学习方法进行系统研究，我们发现了图对比学习方法中与视觉对比学习方法不同的一些共同现象，包括正样本对于图分类和采用特定归一化模块进行节点分类时并不是必需的，而且数据增强对于图对比学习的影响较小。通过揭示图神经网络的内在归纳偏差是如何在对比学习中起作用的，我们从理论上对图对比学习的上述有趣特性提供了深入的洞察。因此，在设计图对比学习方法时，倡导更多关注图学习的独特架构及其隐含的影响。

Nov, 2023

通过敌对性图增强改进图对比学习

本文提出了一种基于对抗性图增强策略的自监督学习框架 adversarial-GCL，解决了传统图对比学习方法捕获冗余图特征的问题，实验证明该方法在无监督、迁移和半监督学习任务中均可达到较好的性能。

Jun, 2021