本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。
Dec, 2023
本文介绍了一种名为 HSGT 的层级可伸缩图变换器，通过利用层次结构和基于采样的训练方法，高效地更新和存储多尺度信息，并使用 Transformer 块有效地捕获和聚合多级信息以实现节点表征学习任务在大规模图上的高性能表现。
May, 2023
本文介绍了一种用于建模 Web 规模异构图的异构图转换器架构（HGT），通过设计基于节点类型和边类型的参数来实现异构性，并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据，实验表明，所提出的 HGT 模型在各种下游任务中始终优于所有最先进的 HNN 基线 9％至 21％。
Mar, 2020
提出了一种基于 ego-graphs 的 Gophormer 模型，将 transformer 应用于节点分类任务，通过邻域采样缓解了规模问题，并采用 proximity-enhanced attention 机制捕捉节点间的结构偏差，通过一致性规则和多样本推理策略稳定训练和测试。Gophormer 在六个基准数据集上的实验表明了其超越了现有的图转换器和热门的 GNN，并揭示了图转换器的未来发展前景。
Oct, 2021
本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。
Sep, 2018
对保持图结构和理解图的本质的图变换模型的挑战和未来方向进行全面的概述。
Jan, 2024
本研究介绍了一种适用于超图的新型自适应采样策略，并提出了随机超边增强技术和多层感知机模块，通过实验证明了该方法在显著降低计算和内存需求的同时，仍具备与传统超图神经网络和基线模型相当的性能水平，为在广泛应用中提高超图神经网络的可扩展性和效能铺平了道路。
May, 2024
本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。
Jun, 2023
我们提出了一个新方法来解决异构图中的类不平衡问题，该方法结合了生成对抗网络（GANs）和图神经网络（GNNs）的优点，通过创建合成节点和边来有效地平衡数据集。该方法直接针对数据级别的不平衡问题，并解决了数据生成过程中忽略图结构以及在下游任务中使用基于 GNN 的分类器时创建可用的合成结构的问题。同时处理节点和边的信息，通过节点增强和子图采样改善边的平衡。另外，我们的框架还整合了一个阈值策略，在训练过程中帮助确定最佳的边界阈值，避免了耗时的参数调整。在 Amazon 和 Yelp 评论数据集上的实验验证了我们提出的框架的有效性，特别是在少数节点识别方面，它在关键性能指标上始终优于基线模型，展示了其在该领域的潜力。
本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。
Dec, 2020