图注意力变换器
本文通过提出新型图神经网络Graphormer，将标准Transformer框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的OGB Large-Scale Challenge中取得了优异结果，并证明了许多流行的GNN变体可以被Graphormer所覆盖。
Jun, 2021
本文提出了基于结构感知(Transformers)的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。
Feb, 2022
这篇综述性论文详细调查了Transformer模型在图结构数据中的应用。作者们将现有的Transformer模型分为三类，着重探究了辅助模块、基于图的位置嵌入和改进的注意力矩阵等方面，针对不同类型的图形数据进行了性能对比，实验证实了改进后的Graph Transformer模型在各种图形任务上的优越性。
Feb, 2022
本研究提出了一种关于如何构建通用、强大、可扩展的图形Transformer的方案，其中包括位置/结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在16项基准测试中取得高竞争力的结果。
May, 2022
本文提出了一种名为Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的token嵌入，TokenGT可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型Transformer相比也具有竞争力。
Jul, 2022
SubFormer是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了SubFormer表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。
Oct, 2023
Eigenformer通过一种新颖的对Laplacian谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的MP-GNN体系结构和Graph Transformers相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。
Jan, 2024
图转换器是机器学习中的一个新兴领域，提供了一种针对图结构数据的神经网络模型。本文调研了图转换器研究的最新进展和挑战，从建立概念开始，探索了图转换器的设计观点，进一步提出了基于深度、可扩展性和预训练策略的图转换器分类法，并总结了开发有效图转换器模型的关键原则。除了技术分析，还讨论了图转换器模型在节点级、边级和图级任务中的应用以及在其他应用场景中的潜力。最后，这篇论文还指出了领域中的一些挑战，如可扩展性和效率、泛化能力和鲁棒性、可解释性和可解释性、动态和复杂图形、数据质量和多样性，并为图转换器研究的未来方向进行了展望。
Jul, 2024
本研究解决了图数据处理中线性变换器的应用空缺，表明其能够实现解决电流和特征向量分解等经典问题的算法。通过理论分析和实验验证，研究还发现线性变换器在分子回归任务中能够学习比默认的拉普拉斯特征向量更有效的位置信息编码。
Oct, 2024