EMNLPOct, 2023

将 Transformer 模型作为图到图模型

PDF
TL;DR我们认为 Transformer 模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。
transformersgraph-to-graph modelsattention weightsgraph edgeslatent graphs
发现论文，激发创造
  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • 基于图的 Transformer 模型：注意力机制是否足够？

    提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

    Jun, 2020

  • 无纯元素的 Transformer 是强大的图学习器

    本文提出了一种名为 Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的 token 嵌入，TokenGT 可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT 在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型 Transformer 相比也具有竞争力。

    Jul, 2022

  • 走向基于原理的图变换

    基于 k 维 Weisfeiler-Leman（k-WL）层次结构的图学习架构在理论上具有良好的表达能力。然而，这样的架构通常在实际任务中无法提供可靠的预测性能，限制了它们的实际影响。相比之下，基于全局注意力的图变换器等架构在实践中表现出强大的性能，但是与 k-WL 层次结构的表达能力进行比较仍具有挑战性，特别是因为这些架构依赖于位置或结构编码来实现其表达能力和预测性能。为了解决这个问题，我们展示了最近提出的边界变换器（Edge Transformer），一种基于节点对而不是节点操作的全局注意力模型，具有至少 3-WL 的表达能力。在实证上，我们证明了边界变换器相对于其他理论上对齐的架构在预测性能方面的优势，同时不依赖于位置或结构编码。

    Jan, 2024

  • 基于 Transformer 建模图形结构以提升 AMR-to-Text 生成

    本文研究针对 AMR-to-text generation 的问题，提出了一种新颖的基于自注意力机制的模型，用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果，成绩达到了该基准数据集的最好结果。

    Aug, 2019

  • 有向无环图上的 Transformer

    本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据，包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。

    Oct, 2022

  • 预训练图循环网络用于语言表示

    本研究提出了一种基于图循环网络的语言模型预训练方法，其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer，用于自监督学习的时候有较高的潜力。

    Sep, 2022

  • 图注意力变换器

    该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

    Feb, 2023

  • 面向图的 Transformer: 从架构层面的概述

    这篇综述性论文详细调查了 Transformer 模型在图结构数据中的应用。作者们将现有的 Transformer 模型分为三类，着重探究了辅助模块、基于图的位置嵌入和改进的注意力矩阵等方面，针对不同类型的图形数据进行了性能对比，实验证实了改进后的 Graph Transformer 模型在各种图形任务上的优越性。

    Feb, 2022