Oct, 2023

我们是否真的需要用于图表示的对比学习？

PDF
TL;DR对比学习在图学习领域吸引了大量研究兴趣，现有的图对比学习方法需要大规模和多样化的负样本来确保嵌入的质量，但这样会引入虚假的负样本，同时增加了计算负担和时间复杂度，为解决这些问题，提出了一种简单而有效的模型 GraphRank，通过引入基于排名的学习来测量相似度得分，成功地缓解了虚假负样本问题，并将时间复杂度从 O (N^2) 降低到 O (N)，并在多个图任务上展开了广泛实验，证明 GraphRank 在各种任务中表现优异。
发现论文，激发创造
  • 图形自对比表示学习

    本文提出了一种名为 GraphSC 的新型图自我对比框架，它使用图自身通过图增强函数生成正负样本，并使用 Hilbert-Schmidt 独立准则对表示进行分解并引入掩蔽自我对比机制以更好地区分正负样本，同时通过显式减小锚点和正样本之间的绝对距离来加快收敛，并在无监督和迁移学习设置下与其他 19 种最先进方法进行了广泛实验评估。

    Sep, 2023

  • 基于邻域排序的图像软对比学习

    本文提出了一种新的图形无监督学习方法，名为 Graph Soft-Contrastive Learning (GSCL)，它能够通过邻域排序进行自我监督学习，而无需依赖于二元对比设置，并且还提出了 GSCL 所需的成对和列表式门控排名 infoNCE 损失函数，以保留邻域中的相对排序关系。

    Sep, 2022

  • ProGCL：图对比学习中重新思考难负样本采集

    论文提出 ProGCL 模型，通过硬负采样的方式，结合相似度和真实性的概率带来了显著的性能提升，成为当前无监督学习领域的 state-of-the-art 模型之一。

    Oct, 2021

  • 对抗式课程图对比学习与配对数据增强

    提出了一种创新的框架：对抗课程图对比学习（ACGCL），利用成对增强技术生成可控相似性的图级正负样本，并通过子图对比学习鉴别其中的有效图模式。ACGCL 框架内还设计了一种新颖的对抗课程训练方法，通过逐渐增加样本难度来促进渐进学习。最后，通过对六个知名基准数据集进行全面评估，ACGCL 显著超过一组最先进的基准。

    Feb, 2024

  • 图形对比学习的实证研究

    本文提出了一种利用 Graph Contrastive Learning 无人工标注学习图形表示的新范式，并通过对一系列基准任务和各种领域的数据集进行广泛、可控的实验，研究不同的 GCL 组件之间的相互作用，得出了一套有效 GCL 的一般特性与实现技巧。

    Sep, 2021

  • GraphCL: 对图形表示的对比自监督学习

    本文提出了一种名为 Graph Contrastive Learning（GraphCL）的一般框架，以自我监督的方式学习节点表示，通过最大化同一节点的本地子图的内在特征和连接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入，并使用对比学习损失来最大化它们之间的一致性，证明我们的方法在节点分类基准测试中显着优于无监督学习的现有技术。

    Jul, 2020

  • 平滑图对比学习中的无缝相似性融合

    本文介绍了一种平滑图对比学习模型（SGCL），它利用了扩充图的几何结构来在对比损失中注入与正负节点对相关的接近信息，从而显著规范化学习过程，并通过针对负样本的三种不同平滑技术调整对比损失中节点对的惩罚，以提高在大规模图上的可扩展性，通过在各种基准测试中的大量实验证明了该框架相对于最近的基准方法的优越性。

    Feb, 2024

  • 基于子图网络的对比学习

    本文提出了一种名为基于子图网络的对比学习的新框架，用于挖掘子结构与图表征之间的相互作用，可提高图像的非监督和迁移学习性能。

    Jun, 2023

  • 架构的重要性：揭示图对比学习中的隐式机制

    通过对图对比学习方法进行系统研究，我们发现了图对比学习方法中与视觉对比学习方法不同的一些共同现象，包括正样本对于图分类和采用特定归一化模块进行节点分类时并不是必需的，而且数据增强对于图对比学习的影响较小。通过揭示图神经网络的内在归纳偏差是如何在对比学习中起作用的，我们从理论上对图对比学习的上述有趣特性提供了深入的洞察。因此，在设计图对比学习方法时，倡导更多关注图学习的独特架构及其隐含的影响。

    Nov, 2023

  • 走向图对比学习：调查和进展

    在图数据上的深度学习、自监督学习、图对比学习和以数据为基础的图学习的实际应用是这篇综述的主要内容。

    May, 2024