本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

Dec, 2023

Transformer 的图表示学习中，通过引入 Graph External Attention 提出了一种新的关注机制来隐式捕捉图之间的相关性，进而用于设计了更全面的图表示框架 GEAET。通过在基准数据集上进行的实验证明，GEAET 达到了最先进的经验性能。

May, 2024

图神经网络（GNN）在图表示学习方面表现出色，但由于其有限的表达能力，它们在捕捉长程依赖性方面面临挑战。为了解决这个问题，引入了图转换器（GTs），利用自注意机制来有效地建模成对的节点关系。尽管具有这些优势，GTs 在图中节点数目的平方复杂度方面存在问题，限制了其在大图上的应用。在这项研究中，我们提出了一种可扩展且有效的替代 GTs 的方法，称为图增强的上下文运算符（GECO），它利用邻域传播和全局卷积，在几乎线性时间内有效地捕捉局部和全局依赖性。我们在合成数据集上的研究结果表明，相对于优化的注意力模型，GECO 在具有 2M 个节点的图上实现了 169 倍的加速。对各种基准测试的进一步评估显示，GECO 在传统的 GTs 面临内存和时间限制的大图上具有可扩展性。值得注意的是，GECO 始终实现了与基准模型相当或更好的质量，提高了最先进技术的性能高达 4.5％，为大规模图学习提供了可扩展且有效的解决方案。

Jun, 2024

该论文提出了一种基于边注意力的多关系图卷积网络 (EAGCN) 模型，可用于多个化学数据集中学习化合物的属性，通过设计边注意力字典以及在不同分子中查找该字典以形成每个分子的注意力矩阵，进而实现对不同分子大小的聚合节点特征预测的独立性。

Feb, 2018

本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。

Mar, 2024

本篇论文提出了一种名为 GraphTrans 的算法，它将 Transformer 自注意力模块和标准的 GNN 模块相结合，并应用置换不变性的 Transformer 模块，从而解决了当前方法在表示长程依赖关系方面的不足。该算法在多个图分类任务上表现出色，说明纯粹的基于学习的方法可能适用于在图上学习高水平、长程的关系。

Jan, 2022

用基于图滤波的自注意力机制 (GFSA) 在 Transformer 模型中解决了过度平滑问题，提高了在计算机视觉、自然语言处理、图形模式分类、语音识别和代码分类等各领域的性能。

Dec, 2023

通过全局感受野和几乎线性的复杂度，AnchorGT 提出了一种新颖的注意力结构，用于改进各种 GT 模型的可扩展性，实现更高的效果和更高的内存效率。

May, 2024

提出了一种基于路径增强的图转换网络 (PAGTN)，用于学习分子表示，并将其与基于图卷积网络 (GCN) 的模型进行比较，在分子属性预测方面表现更好，包括量子化学 (QM7，QM8，QM9)，物理化学 (ESOL，亲脂) 和生物化学 (BACE，BBBP) 数据集。

May, 2019

本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

Oct, 2017