图形转换器用于图形到序列学习

AAAINov, 2019

Graph Transformer for Graph-to-Sequence Learning

Deng Cai, Wai Lam

TL;DR本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

Abstract

The dominant graph-to-sequence transduction models employ graph neural networks for graph representation learning, where the structural information is reflected by the receptive field of neurons. Unlike graph neural networks that restrict the information exchange between immediate neig

graph transformer graph neural networks relation encoding text generation neural machine translation

发现论文，激发创造

基于 Transformer 建模图形结构以提升 AMR-to-Text 生成

本文研究针对 AMR-to-text generation 的问题，提出了一种新颖的基于自注意力机制的模型，用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果，成绩达到了该基准数据集的最好结果。

Aug, 2019

门控图神经网络实现的图到序列学习

提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题，可以对 AMR 图和基于语法的神经机器翻译进行生成，实验结果表明该模型优于强基线模型。

Jun, 2018

AMR 到文本生成的结构神经编码器

本文探讨了 AMR-to-text generation 在使用图编码器和树编码器处理 AMR 图时，对于包含多 parent nodes 的 reentrancies 的处理方式对生成文本的影响，并通过比较实验发现，对于 reentrancies 以及长距离依存的处理方式的改进可以提高图编码器的 BLEU 得分，最佳成绩分别在 LDC2015E86（24.40）和 LDC2017T10（24.54）上超过 state of the art。

Mar, 2019

用双图表示增强 AMR 到文本生成

提出了一种新的基于图的序列模型，能够有效地对 AMR 图进行编码，借助不同的顶部和底部节点表示以及节点传递策略，实现了更好的文本生成表现，并在两个 AMR 数据集上达到了最先进的结果。

Sep, 2019

面向 AMR 转文本生成的图到序列模型

该论文介绍了一种神经网络模型，使用新颖 LSTM 结构直接编码图级别的语义信息，用于 AMR-to-text 生成任务，并在标准数据集上实现了优于现有方法的结果。

May, 2018

基于图的 Transformer 模型：注意力机制是否足够？

提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

Jun, 2020

通过相对位置对知识图谱进行文本生成的图结构建模

本文介绍了 Graformer，一种新颖的基于 Transformer 的编码器 - 解码器体系结构，用于图形到文本的生成。使用我们新颖的图形自我关注，节点的编码依赖于输入图中的所有节点，促进了全局模式的检测。通过学习不同关注头的节点之间的权重，Graformer 实现了不同的连接视图，从而在 AGENDA 和 WebNLG 这两个流行的图形到文本生成基准测试中实现强大的性能。

Jun, 2020

预训练图循环网络用于语言表示

本研究提出了一种基于图循环网络的语言模型预训练方法，其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer，用于自监督学习的时候有较高的潜力。

Sep, 2022

将 Transformer 模型作为图到图模型

我们认为 Transformer 模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

Oct, 2023

超图变换器用于半监督分类

通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

Dec, 2023