EMNLPAug, 2019

基于 Transformer 建模图形结构以提升 AMR-to-Text 生成

PDF
TL;DR本文研究针对 AMR-to-text generation 的问题，提出了一种新颖的基于自注意力机制的模型，用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果，成绩达到了该基准数据集的最好结果。
amr-to-text generationsequence-to-sequence learningabstract meaning representationgraph structuresself-attention approach
发现论文，激发创造
  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • 基于序列到序列 Transformer 的结构感知微调用于基于转换的 AMR 分析

    探索将预训练的序列到序列语言模型与结构感知的基于转换的方法相集成，在提高 AMR 解析效果的同时保持先前基于转换的方法的优质属性，从而使模型更简单、更可靠。

    Oct, 2021

  • 用双图表示增强 AMR 到文本生成

    提出了一种新的基于图的序列模型，能够有效地对 AMR 图进行编码，借助不同的顶部和底部节点表示以及节点传递策略，实现了更好的文本生成表现，并在两个 AMR 数据集上达到了最先进的结果。

    Sep, 2019

  • 面向 AMR 转文本生成的图到序列模型

    该论文介绍了一种神经网络模型，使用新颖 LSTM 结构直接编码图级别的语义信息，用于 AMR-to-text 生成任务，并在标准数据集上实现了优于现有方法的结果。

    May, 2018

  • AMR 到文本生成的结构神经编码器

    本文探讨了 AMR-to-text generation 在使用图编码器和树编码器处理 AMR 图时，对于包含多 parent nodes 的 reentrancies 的处理方式对生成文本的影响，并通过比较实验发现，对于 reentrancies 以及长距离依存的处理方式的改进可以提高图编码器的 BLEU 得分，最佳成绩分别在 LDC2015E86（24.40）和 LDC2017T10（24.54）上超过 state of the art。

    Mar, 2019

  • 神经 AMR: 序列到序列模型用于解析和生成

    使用数百万个未标记的句子和对 AMR 图的精心预处理，我们提出了一种新颖的训练过程，成功地解决了 AMR 中有限的标记数据和非顺序的图表征对序列到序列模型的限制。我们在 AMR 解析和生成任务上取得了竞争性结果，并得到了丰富的分析和证据表明序列基 AMR 模型对图表征的排序变化具有鲁棒性。

    Apr, 2017

  • 基于图序列迭代推理的 AMR 解析

    本文提出了一种新的端到端模型，将 AMR 分析视为对输入序列和增量构建的图表的双重决策序列，并通过多个注意力，推理和组合过程来回答两个关键问题：输入序列的哪一部分需要抽象，以及在图表的哪个位置构建新的概念，实验结果表明，所提出的模型相较于之前的方法，在解决 AMR 分析的准确性方面取得了很大进步，无需任何大规模预训练语言模型（如 Bert），我们的模型就已经超过之前的最新技术水平。

    Apr, 2020

  • AMR 解析和生成的图形预训练

    本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识； 它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。

    Mar, 2022

  • 基于 Transformer 的 AMR 解析中的图信息合并

    本文提出了 LeakDistill，通过使用结构适配器显式地将图形信息纳入到学习表示中，使用自知识蒸馏技术，无需使用额外数据就可以获得最先进的 AMR 解析性能。

    Jun, 2023

  • 神经网络用于 AMR 到文本的调查

    本文概述了 AMR-to-Text 的研究现状和方法，并细分为基于规则，Seq-to-Seq，Graph-to-Seq，Transformer 和 PLM 等五类方法。着重介绍了基于神经网络的方法和 AMR-to-Text 的最新进展，包括 AMR 重构和 Decoder 优化等。此外，本文还介绍了 AMR-to-Text 的基准测试和评价方法，并提供了当前技术和未来研究的展望。

    Jun, 2022