Sep, 2023

图对比学习的可证明训练

PDF
TL;DR通过提出节点紧凑度作为度量，证明了基于图对比学习在训练过程中存在不平衡问题，并推导了节点紧凑度的理论形式，提出了一种能够更好地遵循基于图对比学习原则的 PrOvable Training (POT) 方法，在多个基准测试中持续提升了现有的基于图对比学习方法。
graph contrastive learningnode embeddingsgraph augmentationsnode compactnessprovable training
发现论文，激发创造
  • ProGCL：图对比学习中重新思考难负样本采集

    论文提出 ProGCL 模型，通过硬负采样的方式，结合相似度和真实性的概率带来了显著的性能提升，成为当前无监督学习领域的 state-of-the-art 模型之一。

    Oct, 2021

  • 平滑图对比学习中的无缝相似性融合

    本文介绍了一种平滑图对比学习模型（SGCL），它利用了扩充图的几何结构来在对比损失中注入与正负节点对相关的接近信息，从而显著规范化学习过程，并通过针对负样本的三种不同平滑技术调整对比损失中节点对的惩罚，以提高在大规模图上的可扩展性，通过在各种基准测试中的大量实验证明了该框架相对于最近的基准方法的优越性。

    Feb, 2024

  • 基于信息论的通用图形对比学习

    本文提出了一个名为 GCL-GE 的指标来衡量图对比学习 GCL 的一般化能力，并通过信息理论的角度理论上证明了一个互信息的上界。基于这个证明，我们设计了一个名为 InfoAdv 的 GCL 框架，该框架具有增强的一般化能力，在预训练任务适配和下游任务的一般化能力之间取得了平衡，并在各种基准测试中取得了最先进的性能。

    Nov, 2022

  • 图形对比学习的实证研究

    本文提出了一种利用 Graph Contrastive Learning 无人工标注学习图形表示的新范式，并通过对一系列基准任务和各种领域的数据集进行广泛、可控的实验，研究不同的 GCL 组件之间的相互作用，得出了一套有效 GCL 的一般特性与实现技巧。

    Sep, 2021

  • 通过敌对性图增强改进图对比学习

    本文提出了一种基于对抗性图增强策略的自监督学习框架 adversarial-GCL，解决了传统图对比学习方法捕获冗余图特征的问题，实验证明该方法在无监督、迁移和半监督学习任务中均可达到较好的性能。

    Jun, 2021

  • GraphCL: 对图形表示的对比自监督学习

    本文提出了一种名为 Graph Contrastive Learning（GraphCL）的一般框架，以自我监督的方式学习节点表示，通过最大化同一节点的本地子图的内在特征和连接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入，并使用对比学习损失来最大化它们之间的一致性，证明我们的方法在节点分类基准测试中显着优于无监督学习的现有技术。

    Jul, 2020

  • ImGCL：针对不平衡节点分类的图对比学习重新审视

    本文提出了一种基于进步性平衡抽样（PBS）的图对比学习框架（ImGCL），该框架可以平衡无标签图数据的节点表示，并且在多个不平衡图数据集和不平衡设置上证明了其有效性。

    May, 2022

  • TopoGCL: 拓扑图对比学习

    图对比学习在图神经网络的强大优势下充分利用丰富的无标签信息来学习图的特征表示，然而现有的方法忽视了高阶图子结构的重要潜在信息，本研究通过引入拓扑不变性和扩展持久性的概念来解决这个限制，提出了一种新的对比学习模式并引入了扩展持久性景观，实验结果表明 TopoGCL 模型在无监督图分类中取得了显著的性能提升。

    Jun, 2024

  • 我们是否真的需要用于图表示的对比学习？

    对比学习在图学习领域吸引了大量研究兴趣，现有的图对比学习方法需要大规模和多样化的负样本来确保嵌入的质量，但这样会引入虚假的负样本，同时增加了计算负担和时间复杂度，为解决这些问题，提出了一种简单而有效的模型 GraphRank，通过引入基于排名的学习来测量相似度得分，成功地缓解了虚假负样本问题，并将时间复杂度从 O (N^2) 降低到 O (N)，并在多个图任务上展开了广泛实验，证明 GraphRank 在各种任务中表现优异。

    Oct, 2023

  • 图形对比学习方法的对抗鲁棒性

    通过对图结构的适应性敌对攻击评估节点和图分类任务，本研究介绍了一个全面的 GCL 模型鲁棒性评估协议，旨在探索 GCL 方法的鲁棒性，并为潜在的未来研究方向开辟新途径。

    Nov, 2023