图对比学习的可证明训练
本论文提出了一个自监督的图神经网络预训练框架Graph Contrastive Coding(GCC),通过子图实例区分学习网络的建构,利用对比学习增强图神经网络的内在和可迁移的结构表现,并在十个图数据集上展开实验,结果表明,GCC对于包括节点分类、相似性搜索和图分类等三个图学习任务,展现出与特定任务和从零开始训练的对应模型相竞争的性能,同时显示了预训练和微调范式在图表示学习中有很大的潜力。
Jun, 2020
本文提出了一种名为 Graph Contrastive Learning(GraphCL)的一般框架,以自我监督的方式学习节点表示,通过最大化同一节点的本地子图的内在特征和连接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入,并使用对比学习损失来最大化它们之间的一致性,证明我们的方法在节点分类基准测试中显着优于无监督学习的现有技术。
Jul, 2020
本文提出了一种利用Graph Contrastive Learning无人工标注学习图形表示的新范式,并通过对一系列基准任务和各种领域的数据集进行广泛、可控的实验,研究不同的GCL组件之间的相互作用,得出了一套有效GCL的一般特性与实现技巧。
Sep, 2021
本文提出了一种基于结构和语义对比学习算法框架的简单神经网络-S^3-CL,用于在无监督情况下学习表达具有全局结构和语义的节点特征,通过实验表明与现有的基于GNN的无监督GCL方法相比,S^3-CL在不同的下游任务上可以获得优异的表现。
Feb, 2022
本文提出了一个名为 GCL-GE 的指标来衡量图对比学习GCL的一般化能力,并通过信息理论的角度理论上证明了一个互信息的上界。基于这个证明,我们设计了一个名为InfoAdv的GCL框架,该框架具有增强的一般化能力,在预训练任务适配和下游任务的一般化能力之间取得了平衡,并在各种基准测试中取得了最先进的性能。
Nov, 2022
对比学习在图学习领域吸引了大量研究兴趣,现有的图对比学习方法需要大规模和多样化的负样本来确保嵌入的质量,但这样会引入虚假的负样本,同时增加了计算负担和时间复杂度,为解决这些问题,提出了一种简单而有效的模型GraphRank,通过引入基于排名的学习来测量相似度得分,成功地缓解了虚假负样本问题,并将时间复杂度从O(N^2)降低到O(N),并在多个图任务上展开了广泛实验,证明GraphRank在各种任务中表现优异。
Oct, 2023
通过考虑相邻节点的非对称视图,本文提出了一种简单的算法——用于图的非对称对比学习(GraphACL),它不依赖图扩充和同质性假设,在同质性和异质性图上具有优于最新的图对比学习和自监督学习方法的性能。
Oct, 2023
本文介绍了一种平滑图对比学习模型(SGCL),它利用了扩充图的几何结构来在对比损失中注入与正负节点对相关的接近信息,从而显著规范化学习过程,并通过针对负样本的三种不同平滑技术调整对比损失中节点对的惩罚,以提高在大规模图上的可扩展性,通过在各种基准测试中的大量实验证明了该框架相对于最近的基准方法的优越性。
Feb, 2024
本研究解决了现有图对比学习方法在跨尺度一致性中信息丢失和特征干扰的问题。提出的MUX-GCL通过利用多重表示和位置亲和度对负样本进行校正,显著提高了学习效果。实验结果显示,该方法在多个公共数据集上取得了领先的性能,具有重要的理论和实际应用价值。
Sep, 2024
本文解决了图对比学习(GCL)中对负样本依赖过重的问题,提出了一种无负样本的目标函数,从而实现节点表示的均匀性。研究表明,该方法能够在减少计算需求和内存消耗的同时,仍然取得与现有GCL方法相当的性能。
Nov, 2024