EMNLPOct, 2021

基于序列到序列 Transformer 的结构感知微调用于基于转换的 AMR 分析

PDF
TL;DR探索将预训练的序列到序列语言模型与结构感知的基于转换的方法相集成，在提高 AMR 解析效果的同时保持先前基于转换的方法的优质属性，从而使模型更简单、更可靠。
发现论文，激发创造
  • 基于 Transformer 建模图形结构以提升 AMR-to-Text 生成

    本文研究针对 AMR-to-text generation 的问题，提出了一种新颖的基于自注意力机制的模型，用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果，成绩达到了该基准数据集的最好结果。

    Aug, 2019

  • 基于堆栈变换器的转移句法分析

    本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

    Oct, 2020

  • 利用序列到序列预训练改进 AMR 解析

    本文论述了使用 Seq2Seq 预训练方法和多任务细调方法，建立单一和联合预训练模型，并取得最先进的性能，以提高抽象意义表示 - AMR - 解析的数据集规模限制问题。

    Oct, 2020

  • 将 AMR 句法分析作为序列到图的转换

    我们提出了一种基于关注机制的模型，将 AMR 解析视为序列到图的转换，与大多数依赖于预训练对齐程序、外部语义资源或数据增强的 AMR 解析器不同，我们的提议的解析器是免费的，它可以有效地训练用于有限数量的标记 AMR 数据。我们的实验结果优于以前报告的所有 SMATCH 得分，无论是在 AMR 2.0（LDC2017T10 上的 76.3％F1）还是 AMR 1.0（LDC2014T12 上的 70.2％F1）上。

    May, 2019

  • 使用动作 - 指针变换器进行 AMR 解析

    本文提出了一种基于 Transformer 架构的、利用硬注意与目标端点机制相结合的过渡式 AMR 解析器，该解析器通过显式地对齐目标节点与源句子标记而提高了表现。

    Apr, 2021

  • 神经 AMR: 序列到序列模型用于解析和生成

    使用数百万个未标记的句子和对 AMR 图的精心预处理，我们提出了一种新颖的训练过程，成功地解决了 AMR 中有限的标记数据和非顺序的图表征对序列到序列模型的限制。我们在 AMR 解析和生成任务上取得了竞争性结果，并得到了丰富的分析和证据表明序列基 AMR 模型对图表征的排序变化具有鲁棒性。

    Apr, 2017

  • 基于图序列迭代推理的 AMR 解析

    本文提出了一种新的端到端模型，将 AMR 分析视为对输入序列和增量构建的图表的双重决策序列，并通过多个注意力，推理和组合过程来回答两个关键问题：输入序列的哪一部分需要抽象，以及在图表的哪个位置构建新的概念，实验结果表明，所提出的模型相较于之前的方法，在解决 AMR 分析的准确性方面取得了很大进步，无需任何大规模预训练语言模型（如 Bert），我们的模型就已经超过之前的最新技术水平。

    Apr, 2020

  • AMR 解析和生成的图形预训练

    本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识； 它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。

    Mar, 2022

  • 基于 Transformer 的 AMR 解析中的图信息合并

    本文提出了 LeakDistill，通过使用结构适配器显式地将图形信息纳入到学习表示中，使用自知识蒸馏技术，无需使用额外数据就可以获得最先进的 AMR 解析性能。

    Jun, 2023

  • 基于转移的 AMR 分析的对齐生成及应用

    通过直接学习 node-to-word alignments，提出了一个基于神经网络的 AMR 分析算法，并通过分析 aligner 有关的重要操作序列的分布集成于解析器的训练过程中，从而提高了对 AMR3.0 的性能。

    May, 2022