一种将 Transformer 网络泛化至图形数据的方法
我们认为 Transformer 模型本质上是图到图的模型,序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力,通过将图的边作为输入用于注意力权重计算,并使用类似于注意力的函数预测图中的边,从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入,使得非自回归图预测能够优化完整图,无需任何专门的流水线或解码策略。实证结果表明,该架构在对各种语言结构建模方面取得了最先进的准确性,与预训练学习的潜在语言表示非常有效地集成在一起。
Oct, 2023
这篇综述性论文详细调查了 Transformer 模型在图结构数据中的应用。作者们将现有的 Transformer 模型分为三类,着重探究了辅助模块、基于图的位置嵌入和改进的注意力矩阵等方面,针对不同类型的图形数据进行了性能对比,实验证实了改进后的 Graph Transformer 模型在各种图形任务上的优越性。
Feb, 2022
Eigenformer 通过一种新颖的对 Laplacian 谱意识的注意机制,在一些标准的图神经网络基准数据集上实现了与最先进的 MP-GNN 体系结构和 Graph Transformers 相当的性能,甚至在某些数据集上超越了最先进的方法。此外,我们发现我们的架构在训练速度方面要快得多,可能是由于内在的图归纳偏置。
Jan, 2024
本论文提出了一种名为 GTNs 的图转换器网络,能够在图上进行节点表示的学习,同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明,GTNs 有效地生成新的图结构,通过卷积在新图上产生具有强大表现力的节点表示,并在三个基准节点分类任务中取得了最佳表现。
Nov, 2019
本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer),该架构基于一个简单的 attention 模型,可在处理大规模图结构时实现高效信息传播,同时在节点属性预测基准测试中取得了出色的表现。
Jun, 2023
本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据,包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。
Oct, 2022
本文提出了一种名为 “图变压器” 的模型,使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同,它提供了一种更有效的全局图结构建模方式,并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。
Nov, 2019
该研究通过理论探索首次分析了浅层图变换器在半监督节点分类中的应用。它使用了自注意力和位置编码,并描述了实现理想的泛化误差所需的样本复杂度和迭代次数的定量特征。此外,文中还展示了自注意力和位置编码如何通过稀疏化注意力图和在训练过程中促进核心邻域,从而增强了图变换器的特征表示能力。实验证明了我们的理论结果。
Jun, 2024
本文通过提出新型图神经网络 Graphormer,将标准 Transformer 框架与多种简单的结构编码方法相结合,成功优化图结构数据的表示学习,特别是在最近的 OGB Large-Scale Challenge 中取得了优异结果,并证明了许多流行的 GNN 变体可以被 Graphormer 所覆盖。
Jun, 2021