Dongqin Xu, Junhui Li, Muhua Zhu, Min Zhang, Guodong Zhou
TL;DR本文论述了使用 Seq2Seq 预训练方法和多任务细调方法，建立单一和联合预训练模型，并取得最先进的性能，以提高抽象意义表示 - AMR - 解析的数据集规模限制问题。
Abstract
In the literature, the research on abstract meaning representation (AMR)
parsing is much restricted by the size of human-curated dataset which is
critical to build an AMR parser with good performance. To alleviate such data
size restriction, pre-trained models have been drawing more an
本文提出了一种新的端到端模型，将 AMR 分析视为对输入序列和增量构建的图表的双重决策序列，并通过多个注意力，推理和组合过程来回答两个关键问题：输入序列的哪一部分需要抽象，以及在图表的哪个位置构建新的概念，实验结果表明，所提出的模型相较于之前的方法，在解决 AMR 分析的准确性方面取得了很大进步，无需任何大规模预训练语言模型（如 Bert），我们的模型就已经超过之前的最新技术水平。
我们提出了一种基于关注机制的模型，将 AMR 解析视为序列到图的转换，与大多数依赖于预训练对齐程序、外部语义资源或数据增强的 AMR 解析器不同，我们的提议的解析器是免费的，它可以有效地训练用于有限数量的标记 AMR 数据。我们的实验结果优于以前报告的所有 SMATCH 得分，无论是在 AMR 2.0（LDC2017T10 上的 76.3％F1）还是 AMR 1.0（LDC2014T12 上的 70.2％F1）上。