NodeFormer: 用于节点分类的可扩展图结构学习变压器
本论文提出了一种名为GTNs的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。
Nov, 2019
本研究提出了一种关于如何构建通用、强大、可扩展的图形Transformer的方案，其中包括位置/结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在16项基准测试中取得高竞争力的结果。
May, 2022
本文介绍了一种名为HSGT的层级可伸缩图变换器，通过利用层次结构和基于采样的训练方法，高效地更新和存储多尺度信息，并使用Transformer块有效地捕获和聚合多级信息以实现节点表征学习任务在大规模图上的高性能表现。
May, 2023
本文旨在提出一个简化的图结构Transformers算法架构(SGFormer)，该架构基于一个简单的attention模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。
Jun, 2023
在这篇论文中，我们提出了一种名为TransGNN的新模型，其中Transformer层和GNN层交替使用以相互改进。我们利用Transformer来聚合更相关的节点信息以改善GNNs的消息传递，并利用位置编码和GNN层将图结构融入节点属性中，改善Transformer在图数据中的表现。通过理论证明，我们证明了TransGNN相对于仅具有额外线性复杂度的GNNs更具表达力。在八个数据集上的实验证实了TransGNN在节点和图分类任务上的有效性。
Aug, 2023
本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了LargeGT框架，并取得了3倍的加速和16.8％的性能提升。
Dec, 2023
基于可扩展图神经网络的自适应拓扑感知传播(ATP)提高了运行效率和预测性能，减少了潜在的高偏差传播，并以可插入式的节点传播优化策略无缝集成于大规模图神经网络，同时解决了冗余计算成本。
Feb, 2024
通过引入名为Node2Par的新型令牌生成器，NTFormer提出了一种新的图变换器，允许从不同的角度生成有价值的令牌序列，确保对丰富的图特征进行全面表达，并在各种基准数据集上进行了广泛的实验，证明了NTFormer在节点分类中的优越性。
Jun, 2024
提出了一种名为GCFormer的新型图形变压器，该模型使用混合令牌生成器来捕捉多样性图形信息的两种类型的令牌序列，并采用定制的基于变压器的骨干结构从这些生成的令牌序列中学习有意义的节点表示。并且，GCFormer引入了对比学习来从正负令牌序列中提取有价值的信息，提高了学习到的节点表示的质量。在各种数据集上进行的大量实验结果表明，与代表性的图神经网络（GNNs）和图形变压器相比，GCFormer在节点分类方面具有优势。
Jun, 2024
图转换器是机器学习中的一个新兴领域，提供了一种针对图结构数据的神经网络模型。本文调研了图转换器研究的最新进展和挑战，从建立概念开始，探索了图转换器的设计观点，进一步提出了基于深度、可扩展性和预训练策略的图转换器分类法，并总结了开发有效图转换器模型的关键原则。除了技术分析，还讨论了图转换器模型在节点级、边级和图级任务中的应用以及在其他应用场景中的潜力。最后，这篇论文还指出了领域中的一些挑战，如可扩展性和效率、泛化能力和鲁棒性、可解释性和可解释性、动态和复杂图形、数据质量和多样性，并为图转换器研究的未来方向进行了展望。
Jul, 2024