通过相对位置对知识图谱进行文本生成的图结构建模

Jun, 2020

通过相对位置对知识图谱进行文本生成的图结构建模

Modeling Graph Structure via Relative Position for Text Generation from Knowledge Graphs

Martin Schmitt, Leonardo F. R. Ribeiro, Philipp Dufter, Iryna Gurevych, Hinrich Schütze

TL;DR本文介绍了 Graformer，一种新颖的基于 Transformer 的编码器 - 解码器体系结构，用于图形到文本的生成。使用我们新颖的图形自我关注，节点的编码依赖于输入图中的所有节点，促进了全局模式的检测。通过学习不同关注头的节点之间的权重，Graformer 实现了不同的连接视图，从而在 AGENDA 和 WebNLG 这两个流行的图形到文本生成基准测试中实现强大的性能。

Abstract

We present graformer, a novel transformer-based encoder-decoder architecture for graph-to-text generation. With our novel graph self-atten

graformer transformer graph-to-text generation global patterns attention heads

发现论文，激发创造

使用图形 transformer 从知识图谱生成文本

本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

Apr, 2019

图形转换器用于图形到序列学习

本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

Nov, 2019

基于图的 Transformer 模型：注意力机制是否足够？

提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

Jun, 2020

GraphiT：在 Transformers 中编码图结构

本文提出了一种名为 GraphiT 的模型，将结构和位置信息融入到变换器体系结构中，以解决图像分类和回归等任务，并通过相对位置编码策略中的正定核和枚举和编码短路径等方法来实现，表现比传统方法更好。此外，该模型还具有解释和可视化图像的特点，有望成为解释性较强、科学应用领域中的潜在强大候选者。

Jun, 2021

关系图变换器：用于知识图表示的关系图转换器

本研究提出了一种新型变压器架构 Relphormer，其中引入 Triple2Seq 来动态采样上下文化子图序列作为输入以解决知识图谱中异构结构和语义信息难以捕获的问题，并提出了一种 novel self-attention 机制以编码关系信息。实验结果表明，相比基线模型，Relphormer 获得了更好的性能。

May, 2022

GRPE: 图形 Transformer 的相对位置编码

该研究提出了一种新的位置编码方法，用于学习 Transformer 架构上的图形，结果表明这种方法优于以往的方法并可公开获取其代码。

Jan, 2022

基于 Transformer 建模图形结构以提升 AMR-to-Text 生成

本文研究针对 AMR-to-text generation 的问题，提出了一种新颖的基于自注意力机制的模型，用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果，成绩达到了该基准数据集的最好结果。

Aug, 2019

GraphFormers: 融合 GNN 和 Transformer 的文本图卷积神经网络表示学习

本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

May, 2021

使用相对位置标签将异构图与实体感知自注意力集成到阅读理解模型中

提出了一种新的关注模式，将异构图的推理知识集成到变压器架构中，用于解决复杂推理任务。

Jul, 2023

通用图形 Transformer 自注意力网络

本文介绍了一种基于 Transformer 的 GNN 模型，叫做 UGformer，用于学习图表示。UGformer 有两个变体，第一个变体利用 Transformer 对每个输入节点的一组采样邻居进行编码，第二个变体利用 Transformer 对所有输入节点进行编码。实验结果表明，第一个变体在归纳和非监督转导设置下实现了基准数据集上的最新最准确统计，第二个变体在归纳文本分类中获得了最高准确率。

Sep, 2019