我们认为 Transformer 模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

Oct, 2023

我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

Dec, 2023

本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

Jun, 2023

本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

Dec, 2020

本论文提出了一种名为 GTNs 的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs 有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。

Nov, 2019

通过引入图谱记号和图谱信息，我们提出了一种新颖的方法，将图谱的全局结构直接编码到变换器架构中，以增强图变换器的效果和性能。

Apr, 2024

本文提出了一种名为 GraphiT 的模型，将结构和位置信息融入到变换器体系结构中，以解决图像分类和回归等任务，并通过相对位置编码策略中的正定核和枚举和编码短路径等方法来实现，表现比传统方法更好。此外，该模型还具有解释和可视化图像的特点，有望成为解释性较强、科学应用领域中的潜在强大候选者。

Jun, 2021

该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

Feb, 2023

Topology-Informed Graph Transformer (TIGT) enhances discriminative power in detecting graph isomorphisms and overall performance of Graph Transformers, outperforming previous models in classifying isomorphism classes of graphs and across various benchmark datasets.

Feb, 2024

本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

Nov, 2019