本文探讨了在大规模情况下有效和高效地部署图神经网络的问题，并介绍了我们在 Open Graph Benchmark Large-Scale Challenge 上使用的两个大规模 GNNs 模型的性能。通过这项工作，我们展示了可扩展的自监督图表示学习的证据和非常深层次的 GNNs 的实用性。

Jul, 2021

该论文提出了一种名为Edge-augmented Graph Transformer (EGT)的框架来处理任意形式的结构数据，其中使用全局自我关注作为聚合机制，并通过边缘通道来演化结构信息，从而在图结构数据的学习任务中超越了卷积/消息传递图神经网络，并在OGB-LSC PCQM4Mv2数据集上实现了量子化学回归任务的最新性能。

Aug, 2021

本研究提出了一种关于如何构建通用、强大、可扩展的图形Transformer的方案，其中包括位置/结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在16项基准测试中取得高竞争力的结果。

May, 2022

本文提出针对当前图表示学习中的问题，通过将节点采样策略的优化进行对抗式强化学习，以及引入一种新的分层注意力方案，来提高图卷积网络（Graph Transformer）的性能，实验结果显示了新方法的优越性。

Oct, 2022

本文介绍了一种名为HSGT的层级可伸缩图变换器，通过利用层次结构和基于采样的训练方法，高效地更新和存储多尺度信息，并使用Transformer块有效地捕获和聚合多级信息以实现节点表征学习任务在大规模图上的高性能表现。

May, 2023

本文提出了一种基于新的所有对消息传递机制和核化Gumbel-Softmax算子的节点分类网络，名叫NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

Jun, 2023

本文旨在提出一个简化的图结构Transformers算法架构(SGFormer)，该架构基于一个简单的attention模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

Jun, 2023

图神经网络（GNN）在图表示学习方面表现出色，但由于其有限的表达能力，它们在捕捉长程依赖性方面面临挑战。为了解决这个问题，引入了图转换器（GTs），利用自注意机制来有效地建模成对的节点关系。尽管具有这些优势，GTs在图中节点数目的平方复杂度方面存在问题，限制了其在大图上的应用。在这项研究中，我们提出了一种可扩展且有效的替代GTs的方法，称为图增强的上下文运算符（GECO），它利用邻域传播和全局卷积，在几乎线性时间内有效地捕捉局部和全局依赖性。我们在合成数据集上的研究结果表明，相对于优化的注意力模型，GECO在具有2M个节点的图上实现了169倍的加速。对各种基准测试的进一步评估显示，GECO在传统的GTs面临内存和时间限制的大图上具有可扩展性。值得注意的是，GECO始终实现了与基准模型相当或更好的质量，提高了最先进技术的性能高达4.5％，为大规模图学习提供了可扩展且有效的解决方案。

Jun, 2024

我们提出了一个名为PGT（Pre-trained Graph Transformer）的可扩展的基于Transformer的图预训练框架，能够在工业场景中处理数十亿节点的网页规模图，具有归纳能力，适用于未见过的新节点和新图，并在真实世界的网页规模图上进行了广泛的实验，同时在公共数据集上取得了最先进的性能，具有可伸缩性和效率。

Jul, 2024

本研究解决了在大图上学习表示的效率问题，挑战在于现有变换器模型通常过于复杂且层数过多。提出的SGFormer简化了模型架构，通过单层全局注意力实现线性缩放，并保持了表示学习的能力。研究表明，SGFormer在中等规模图上具有显著的推理加速效果，尤其在标记数据有限的情况下依然表现出竞争力。

Sep, 2024