GTC：GNN-Transformer自监督异构图表示的共同对比学习
本论文提出了一种名为GTNs的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。
Nov, 2019
本论文提出了一个自监督的图神经网络预训练框架Graph Contrastive Coding（GCC），通过子图实例区分学习网络的建构，利用对比学习增强图神经网络的内在和可迁移的结构表现，并在十个图数据集上展开实验，结果表明，GCC对于包括节点分类、相似性搜索和图分类等三个图学习任务，展现出与特定任务和从零开始训练的对应模型相竞争的性能，同时显示了预训练和微调范式在图表示学习中有很大的潜力。
Jun, 2020
本文提出了一种名为Heterformer的异构图神经网络-嵌套变形器，能够融合图神经网络和预训练语言模型来进行节点表示学习，实验结果证明其在链接预测、节点分类、节点聚类以及语义检索方面都优于现有的基准模型。
May, 2022
我们提出了GCNH，是一种简单但有效的GNN架构，适用于异构和同质图形，并使用一个学习的重要系数平衡中心节点和邻域的贡献，可以解决异构图上性能问题和过度平滑问题。
Apr, 2023
我们提出了一种局部结构感知的图对比学习方法 (LS-GCL)，用于从多个视角建模节点的结构信息，并且通过多层对比损失函数来优化模型，实验结果表明我们的方法在节点分类和链接预测任务上均优于最先进的图表示学习方法。
Aug, 2023
在这篇论文中，我们提出了一种名为TransGNN的新模型，其中Transformer层和GNN层交替使用以相互改进。我们利用Transformer来聚合更相关的节点信息以改善GNNs的消息传递，并利用位置编码和GNN层将图结构融入节点属性中，改善Transformer在图数据中的表现。通过理论证明，我们证明了TransGNN相对于仅具有额外线性复杂度的GNNs更具表达力。在八个数据集上的实验证实了TransGNN在节点和图分类任务上的有效性。
Aug, 2023
本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了LargeGT框架，并取得了3倍的加速和16.8％的性能提升。
Dec, 2023
本研究提出了一种名为GCN-SA的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。
Mar, 2024
提出了一种名为GCFormer的新型图形变压器，该模型使用混合令牌生成器来捕捉多样性图形信息的两种类型的令牌序列，并采用定制的基于变压器的骨干结构从这些生成的令牌序列中学习有意义的节点表示。并且，GCFormer引入了对比学习来从正负令牌序列中提取有价值的信息，提高了学习到的节点表示的质量。在各种数据集上进行的大量实验结果表明，与代表性的图神经网络（GNNs）和图形变压器相比，GCFormer在节点分类方面具有优势。
Jun, 2024