一种通用、强大、可扩展的图变换器配方
本文通过提出新型图神经网络Graphormer，将标准Transformer框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的OGB Large-Scale Challenge中取得了优异结果，并证明了许多流行的GNN变体可以被Graphormer所覆盖。
Jun, 2021
本文提出了基于结构感知(Transformers)的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。
Feb, 2022
本研究提出了一种名为DET的新型Transformer架构，采用结构编码器聚合连接邻居的信息和语义编码器聚焦于远距离节点，通过自监督训练寻找所需的远距离邻居，比使用多跳邻居的方法更为优越。实验结果表明，DET在处理分子、网络和各种规模的知识图谱方面比对应的最新方法具有更优越的性能表现。
Feb, 2022
本文介绍了一种名为HSGT的层级可伸缩图变换器，通过利用层次结构和基于采样的训练方法，高效地更新和存储多尺度信息，并使用Transformer块有效地捕获和聚合多级信息以实现节点表征学习任务在大规模图上的高性能表现。
May, 2023
提出一种新的变压器体系结构，名为Graph Propagation Transformer(GPTrans)，利用一种名为Graph Propagation Attention(GPA)的新注意机制，在构建变压器块中的注意模块时，充分考虑了图形中节点和边的信息传递，并在多个基准数据集上验证了其优于许多先进的变压器的性能。
May, 2023
本文旨在提出一个简化的图结构Transformers算法架构(SGFormer)，该架构基于一个简单的attention模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。
Jun, 2023
本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了LargeGT框架，并取得了3倍的加速和16.8％的性能提升。
Dec, 2023
Eigenformer通过一种新颖的对Laplacian谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的MP-GNN体系结构和Graph Transformers相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。
Jan, 2024
图转换器是机器学习中的一个新兴领域，提供了一种针对图结构数据的神经网络模型。本文调研了图转换器研究的最新进展和挑战，从建立概念开始，探索了图转换器的设计观点，进一步提出了基于深度、可扩展性和预训练策略的图转换器分类法，并总结了开发有效图转换器模型的关键原则。除了技术分析，还讨论了图转换器模型在节点级、边级和图级任务中的应用以及在其他应用场景中的潜力。最后，这篇论文还指出了领域中的一些挑战，如可扩展性和效率、泛化能力和鲁棒性、可解释性和可解释性、动态和复杂图形、数据质量和多样性，并为图转换器研究的未来方向进行了展望。
Jul, 2024
本研究解决了在大图上学习表示的效率问题，挑战在于现有变换器模型通常过于复杂且层数过多。提出的SGFormer简化了模型架构，通过单层全局注意力实现线性缩放，并保持了表示学习的能力。研究表明，SGFormer在中等规模图上具有显著的推理加速效果，尤其在标记数据有限的情况下依然表现出竞争力。
Sep, 2024