提出了一种名为 GCFormer 的新型图形变压器，该模型使用混合令牌生成器来捕捉多样性图形信息的两种类型的令牌序列，并采用定制的基于变压器的骨干结构从这些生成的令牌序列中学习有意义的节点表示。并且，GCFormer 引入了对比学习来从正负令牌序列中提取有价值的信息，提高了学习到的节点表示的质量。在各种数据集上进行的大量实验结果表明，与代表性的图神经网络（GNNs）和图形变压器相比，GCFormer 在节点分类方面具有优势。

Jun, 2024

本文提出了一种基于新的所有对消息传递机制和核化 Gumbel-Softmax 算子的节点分类网络，名叫 NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

Jun, 2023

本文提出了一种邻域聚合图变换器（NAGphormer）来处理大规模数据集的图分析问题，在 Hop2Token 模块的引导下， NAGphormer 能够将每个节点作为包含一系列令牌的序列处理，利用邻域信息构建一个序列来训练模型，从而在图神经网络中表现出更好的表征学习能力。

Jun, 2022

SubFormer 是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer 与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了 SubFormer 表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。

Oct, 2023

本文提出了一种名为 Heterformer 的异构图神经网络 - 嵌套变形器，能够融合图神经网络和预训练语言模型来进行节点表示学习，实验结果证明其在链接预测、节点分类、节点聚类以及语义检索方面都优于现有的基准模型。

May, 2022

本文提出了一种名为 Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的 token 嵌入，TokenGT 可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT 在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型 Transformer 相比也具有竞争力。

Jul, 2022

Temporal Graph Neural Networks 和 Transformers 结合，提出了一种用于动态图的新型 Transformer-based 神经网络 Todyformer，它通过将 MPNNs 的局部编码能力与 Transformers 的全局编码能力相结合来改善性能限制，并通过时间位置编码捕捉长距离依赖关系，实验证明在公共基准数据集上 Todyformer 在下游任务中 consistently 超过了最先进方法，并且在捕获动态图中广泛的时间依赖关系方面具有有效性。

Feb, 2024

本研究提出了一种称为邻域聚合图变换器（NAGphormer）的方法，用于处理大规模图数据，它将每个节点视为一个序列，每个序列包含一系列通过 Hop2Token 模块构建的标记。NAGphormer 通过从不同跳的邻域特征进行聚合，生成一系列标记向量作为输入，能够以 mini-batch 的方式进行训练，并能够比图神经网络更好地学习多跳邻域的节点表示。研究同时提出了一种名为 Neighborhood Augmentation 的新型数据增强方法，以同时增强全局邻域和局部邻域的特征，进一步提高 NAGphormer 的训练效果。实验证明，NAGphormer 优于现有的图变换器和主流图神经网络，并且 NrAug 对 NAGphormer 进一步提升作用显著。

May, 2023

本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

May, 2021

本文提出了一种改进的基于 Transformer 的神经网络表示学习模型 NAR-Former V2，可以从细胞结构网络和整个网络中学习出高效的表示方法，并通过实验证明了其在学习图结构表示方面的能力比基于 GNN 方法 NNLP 更加优越。

Jun, 2023