本文提出了基于结构感知(Transformers)的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

Feb, 2022

本研究提出了一种关于如何构建通用、强大、可扩展的图形Transformer的方案，其中包括位置/结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在16项基准测试中取得高竞争力的结果。

May, 2022

本文旨在提出一个简化的图结构Transformers算法架构(SGFormer)，该架构基于一个简单的attention模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

Jun, 2023

GPSE是第一个训练图编码器以捕获丰富的位置和结构编码表示来增强任何GNN的编码器，其可用于提取图形位置和结构信息的大型预训练模型的开发并突出它们作为明确计算PSE和现有的自监督预训练方法的可行替代方案。

Jul, 2023

我们认为Transformer模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图Transformer架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的Transformer模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

Oct, 2023

本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了LargeGT框架，并取得了3倍的加速和16.8％的性能提升。

Dec, 2023

我们介绍了一种名为GraphGPT的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集PCQM4Mv2、蛋白质相互作用数据集ogbl-ppa以及开放图基准数据集ogbn-proteins上取得了接近或优于现有方法的结果，并且能够训练超过400M个参数的GraphGPT，具有一致提升的性能，这超出了GNN和先前的图变换模型的能力。

Dec, 2023

图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

Jun, 2024

图转换器是机器学习中的一个新兴领域，提供了一种针对图结构数据的神经网络模型。本文调研了图转换器研究的最新进展和挑战，从建立概念开始，探索了图转换器的设计观点，进一步提出了基于深度、可扩展性和预训练策略的图转换器分类法，并总结了开发有效图转换器模型的关键原则。除了技术分析，还讨论了图转换器模型在节点级、边级和图级任务中的应用以及在其他应用场景中的潜力。最后，这篇论文还指出了领域中的一些挑战，如可扩展性和效率、泛化能力和鲁棒性、可解释性和可解释性、动态和复杂图形、数据质量和多样性，并为图转换器研究的未来方向进行了展望。

Jul, 2024

多图多任务预训练方法(GraphFM)通过将特定领域的特征压缩到一个共同的潜空间，并在不同领域的数据上进行扩展，提高了通用模型的泛化能力。通过对152个不同图数据集进行预训练，并根据跨多个领域的数据构建扩展规律，该方法证明了在真实和合成图上进行多图预训练可以显著减轻当前图训练方法的负担，创建一种能在广泛数据集和任务中竞争的单一通用模型。

Jul, 2024