GTC：GNN-Transformer 自监督异构图表示的共同对比学习

Mar, 2024

GTC：GNN-Transformer 自监督异构图表示的共同对比学习

GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation

Yundong Sun, Dongjie Zhu, Yansong Wang, Zhaoshuo Tian

TL;DR提出了一种结合 GNN 和 Transformer 的新框架，利用 GNN 的局部信息汇聚和 Transformer 的全局信息建模能力解决过度平滑问题，构建了 GTC 体系结构，通过对跨视图信息进行自我监督的对比学习任务实现异构图形表示学习。

Abstract

graph neural networks (GNNs) have emerged as the most powerful weapon for various graph tasks due to the message-passing mechanism's great local information aggregation ability. However, over-smoothing has always hindered GNNs from going deeper and capturing multi-hop neighbors. Unlike

graph neural networks over-smoothing problem gtc architecture collaborative learning heterogeneous graph representation

发现论文，激发创造

Transformer 和 GNN 能互助吗？

在这篇论文中，我们提出了一种名为 TransGNN 的新模型，其中 Transformer 层和 GNN 层交替使用以相互改进。我们利用 Transformer 来聚合更相关的节点信息以改善 GNNs 的消息传递，并利用位置编码和 GNN 层将图结构融入节点属性中，改善 Transformer 在图数据中的表现。通过理论证明，我们证明了 TransGNN 相对于仅具有额外线性复杂度的 GNNs 更具表达力。在八个数据集上的实验证实了 TransGNN 在节点和图分类任务上的有效性。

Aug, 2023

图变换网络

本论文提出了一种名为 GTNs 的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs 有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。

Nov, 2019

超图变换器用于半监督分类

通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

Dec, 2023

拓扑指导的超图变换网络：揭示结构洞察以改进表示

提出了一种拓扑引导的超图变换网络，通过保留结构本质学习图中的高阶关系，设计了简洁而有效的结构和空间编码模块将节点的拓扑和空间信息融入其表示，并提出了一种结构感知的自注意机制，从语义和结构角度发现重要节点和超边。实验证明，所提模型在节点分类任务上的性能始终优于现有方法。

Oct, 2023

利用对比学习提升令牌化图变换器中节点表示

提出了一种名为 GCFormer 的新型图形变压器，该模型使用混合令牌生成器来捕捉多样性图形信息的两种类型的令牌序列，并采用定制的基于变压器的骨干结构从这些生成的令牌序列中学习有意义的节点表示。并且，GCFormer 引入了对比学习来从正负令牌序列中提取有价值的信息，提高了学习到的节点表示的质量。在各种数据集上进行的大量实验结果表明，与代表性的图神经网络（GNNs）和图形变压器相比，GCFormer 在节点分类方面具有优势。

Jun, 2024

生成对比异构图神经网络

通过利用自监督学习，我们提出了一种新颖的生成对比异构图神经网络 (GC-HGNN)，并且在结点分类和链接预测任务中显著超越最新的对比和生成基线模型。

Apr, 2024

计算机视觉中的图神经网络和图变换器综述：以任务为导向的视角

本研究在任务导向的角度下，综述了 GNN 与图 Transformer 在计算机视觉中的应用，根据输入数据的特征分为五个类别，并根据视觉任务，详细讨论了该问题所使用的不同基于 GNN 的方法、表现、挑战和未来方向。

Sep, 2022

语言和图神经网络模型的高效有效训练

本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

Jun, 2022

异质图变换器

本文介绍了一种用于建模 Web 规模异构图的异构图转换器架构（HGT），通过设计基于节点类型和边类型的参数来实现异构性，并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据，实验表明，所提出的 HGT 模型在各种下游任务中始终优于所有最先进的 HNN 基线 9％至 21％。

Mar, 2020

大规模图的图转换器

本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

Dec, 2023