Feb, 2022

面向图的 Transformer: 从架构层面的概述

PDF
TL;DR这篇综述性论文详细调查了 Transformer 模型在图结构数据中的应用。作者们将现有的 Transformer 模型分为三类，着重探究了辅助模块、基于图的位置嵌入和改进的注意力矩阵等方面，针对不同类型的图形数据进行了性能对比，实验证实了改进后的 Graph Transformer 模型在各种图形任务上的优越性。
transformergraph-structured dataliterature reviewgraph transformer modelsperformance gain
发现论文，激发创造
  • 图注意力变换器

    该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

    Feb, 2023

  • 计算机视觉中的图神经网络和图变换器综述：以任务为导向的视角

    本研究在任务导向的角度下，综述了 GNN 与图 Transformer 在计算机视觉中的应用，根据输入数据的特征分为五个类别，并根据视觉任务，详细讨论了该问题所使用的不同基于 GNN 的方法、表现、挑战和未来方向。

    Sep, 2022

  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • 结构保持图变换的调研

    对保持图结构和理解图的本质的图变换模型的挑战和未来方向进行全面的概述。

    Jan, 2024

  • 有向无环图上的 Transformer

    本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据，包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。

    Oct, 2022

  • 基于图的 Transformer 模型：注意力机制是否足够？

    提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

    Jun, 2020

  • 将 Transformer 模型作为图到图模型

    我们认为 Transformer 模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

    Oct, 2023

  • Transformer 在图表示学习中真的表现糟糕吗？

    本文通过提出新型图神经网络 Graphormer，将标准 Transformer 框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的 OGB Large-Scale Challenge 中取得了优异结果，并证明了许多流行的 GNN 变体可以被 Graphormer 所覆盖。

    Jun, 2021

  • 面向图表示学习的结构感知 Transformer

    本文提出了基于结构感知 (Transformers) 的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • Transformers 综述

    本文综述了各种 X-formers，包括 Transformer 的变体，提出了一个新的分类法并从结构修改、预训练和应用三个方面介绍了各种 X-formers，并提出了未来研究的一些潜在方向。

    Jun, 2021