Oct, 2023

将Transformer模型作为图到图模型

HTML
PDF
TL;DR我们认为Transformer模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图Transformer架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的Transformer模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。
发现论文，激发创造
  • 一种将Transformer网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的transformer模型。

    Dec, 2020

  • 面向图表示学习的结构感知Transformer

    本文提出了基于结构感知(Transformers)的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • 面向图的Transformer: 从架构层面的概述

    这篇综述性论文详细调查了Transformer模型在图结构数据中的应用。作者们将现有的Transformer模型分为三类，着重探究了辅助模块、基于图的位置嵌入和改进的注意力矩阵等方面，针对不同类型的图形数据进行了性能对比，实验证实了改进后的Graph Transformer模型在各种图形任务上的优越性。

    Feb, 2022

  • 基于关系注意力的图结构任务通用Transformer

    本文描述了如何使用关系注意力处理图数据，以及在各种基准测试中比图神经网络做得更好的关系变压器。

    Oct, 2022

  • 图传播变压器用于图表示学习

    提出一种新的变压器体系结构，名为Graph Propagation Transformer(GPTrans)，利用一种名为Graph Propagation Attention(GPA)的新注意机制，在构建变压器块中的注意模块时，充分考虑了图形中节点和边的信息传递，并在多个基准数据集上验证了其优于许多先进的变压器的性能。

    May, 2023

  • 大型图形表示中的Transformer简化与授权

    本文旨在提出一个简化的图结构Transformers算法架构(SGFormer)，该架构基于一个简单的attention模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

    Jun, 2023

  • 走向基于原理的图变换

    基于k维Weisfeiler-Leman（k-WL）层次结构的图学习架构在理论上具有良好的表达能力。然而，这样的架构通常在实际任务中无法提供可靠的预测性能，限制了它们的实际影响。相比之下，基于全局注意力的图变换器等架构在实践中表现出强大的性能，但是与k-WL层次结构的表达能力进行比较仍具有挑战性，特别是因为这些架构依赖于位置或结构编码来实现其表达能力和预测性能。为了解决这个问题，我们展示了最近提出的边界变换器（Edge Transformer），一种基于节点对而不是节点操作的全局注意力模型，具有至少3-WL的表达能力。在实证上，我们证明了边界变换器相对于其他理论上对齐的架构在预测性能方面的优势，同时不依赖于位置或结构编码。

    Jan, 2024

  • 无位置编码的图形变换器

    Eigenformer通过一种新颖的对Laplacian谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的MP-GNN体系结构和Graph Transformers相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。

    Jan, 2024

  • 图转换器：综述

    图转换器是机器学习中的一个新兴领域，提供了一种针对图结构数据的神经网络模型。本文调研了图转换器研究的最新进展和挑战，从建立概念开始，探索了图转换器的设计观点，进一步提出了基于深度、可扩展性和预训练策略的图转换器分类法，并总结了开发有效图转换器模型的关键原则。除了技术分析，还讨论了图转换器模型在节点级、边级和图级任务中的应用以及在其他应用场景中的潜力。最后，这篇论文还指出了领域中的一些挑战，如可扩展性和效率、泛化能力和鲁棒性、可解释性和可解释性、动态和复杂图形、数据质量和多样性，并为图转换器研究的未来方向进行了展望。

    Jul, 2024

  • SGFormer：具有无近似线性复杂度的单层图变换器

    本研究解决了在大图上学习表示的效率问题，挑战在于现有变换器模型通常过于复杂且层数过多。提出的SGFormer简化了模型架构，通过单层全局注意力实现线性缩放，并保持了表示学习的能力。研究表明，SGFormer在中等规模图上具有显著的推理加速效果，尤其在标记数据有限的情况下依然表现出竞争力。

    Sep, 2024