基于相似度的正样本抽样用于图对比度预训练

Jun, 2022

基于相似度的正样本抽样用于图对比度预训练

Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training

Xueyi Liu, Yu Rong, Tingyang Xu, Fuchun Sun, Wenbing Huang...

TL;DR本文提出通过选择训练集中已有的合法图形作为正例，结合基于特定领域相似度测量和分层图编码相似关系进行抽样的方法，解决了当前方法中正例缺失图信息甚至产生非法实例的问题，并且引入自适应节点级训练方法，提取五个关键词：图实例对比学习、图神经网络预训练、正例图实例、基于特定领域的成对相似度测量和自适应节点级预训练。

Abstract

graph instance contrastive learning has been proved as an effective task for Graph Neural Network (GNN) pre-training. However, one key issue may seriously impede the representative power in existing works: Positive instances created by current methods often miss crucial information of

graph instance contrastive learning graph neural network pre-training positive graph instances domain-specific pair-wise similarity measurements adaptive node-level pre-training

发现论文，激发创造

缓解邻居偏差：通过结构等价正样本增强图自监督学习

本文提出了一种基于拓扑信号驱动的自监督学习方法，通过使用多尺度的拓扑信息特征和具有高结构等价性的非邻居节点对之间的拖拽作用，解决了现有图神经网络中的邻近偏见问题，并在七个图数据集上的节点分类任务中有效提高了模型性能。

Dec, 2022

GCC: 图形对比编码用于图神经网络预训练

本论文提出了一个自监督的图神经网络预训练框架 Graph Contrastive Coding（GCC），通过子图实例区分学习网络的建构，利用对比学习增强图神经网络的内在和可迁移的结构表现，并在十个图数据集上展开实验，结果表明，GCC 对于包括节点分类、相似性搜索和图分类等三个图学习任务，展现出与特定任务和从零开始训练的对应模型相竞争的性能，同时显示了预训练和微调范式在图表示学习中有很大的潜力。

Jun, 2020

预训练图神经网络的策略

本文提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的 GNN，以便 GNN 可以同时学习有用的局部和全局表示，并在多个图分类数据集上进行系统研究，发现我们的策略可避免负面转移并显着提高下游任务的泛化性能，最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。

May, 2019

无需显式负采样的自监督图神经网络

本研究提出了 SelfGNN，它是一种基于对比自监督技术的图神经网络，采用批量标准化和四种图形特征增强技术来实现无监督学习。除了使用常用的图形拓扑增强技术（TA），实验证明我们提出的特征增强（FA）能够与 TA 同样好地发挥作用，而且没有计算开销。在七种公开数据集上的实验结果表明，SelfGNN 表现出较高水平的性能，与 SOTA 监督 GNN 性能相当，并且始终优于 SOTA 半监督和无监督 GNN。

Mar, 2021

为图对比学习生成反事实难负样本

提出了一种基于对抗样本生成机制的无监督图学习方法 CGC，它能够让模型获取高质量的正负样本对，避免了传统无监督学习方法中出现的 False Negative 问题，其在多个数据集上与传统无监督学习方法和一些 SOTA 图对比学习方法相比实现了令人满意的结果。

Jul, 2022

自监督图表示学习的生成子图对比

本研究提出了一种基于自适应子图生成对比学习框架，可以通过捕捉图的内在结构来生成对比样本，并同时根据子图的特征和结构来区分样本，以最优运输距离作为子图之间的相似度度量。通过在基准数据集上进行广泛的节点分类实验，验证了该图对比学习方法的有效性。

Jul, 2022

平滑图对比学习中的无缝相似性融合

本文介绍了一种平滑图对比学习模型（SGCL），它利用了扩充图的几何结构来在对比损失中注入与正负节点对相关的接近信息，从而显著规范化学习过程，并通过针对负样本的三种不同平滑技术调整对比损失中节点对的惩罚，以提高在大规模图上的可扩展性，通过在各种基准测试中的大量实验证明了该框架相对于最近的基准方法的优越性。

Feb, 2024

我们是否真的需要用于图表示的对比学习？

对比学习在图学习领域吸引了大量研究兴趣，现有的图对比学习方法需要大规模和多样化的负样本来确保嵌入的质量，但这样会引入虚假的负样本，同时增加了计算负担和时间复杂度，为解决这些问题，提出了一种简单而有效的模型 GraphRank，通过引入基于排名的学习来测量相似度得分，成功地缓解了虚假负样本问题，并将时间复杂度从 O (N^2) 降低到 O (N)，并在多个图任务上展开了广泛实验，证明 GraphRank 在各种任务中表现优异。

Oct, 2023

基于模式的图形表示对比学习

通过学习图模式 (Motif)，对大型图数据库进行 GNN 预处理，进而利用学习到的模式采样更多信息化的子图，通过对子图的对比学习预训练 GNN，使其性能在多个基准数据集中平均提高了 2.04% 的 ROC-AUC。

Dec, 2020

自对比图扩散网络

我们提出了一种名为 Self-Contrastive Graph Diffusion Network（SCGDN）的新框架，其中包含 Attentional Module 和 Diffusion Module 两个主要组件，以实现高效的嵌入和节点状态的平衡，并避免采样偏见和语义漂移，综合利用结构和特征信息进行抽样，并最小化嵌入中的冗余信息以保留更有区分能力的信息。实验结果表明，SCGDN 相比于对照方法和经典方法具有更好的性能。

Jul, 2023