ACLJun, 2023

基于 Transformer 的 AMR 解析中的图信息合并

PDF
TL;DR本文提出了 LeakDistill，通过使用结构适配器显式地将图形信息纳入到学习表示中，使用自知识蒸馏技术，无需使用额外数据就可以获得最先进的 AMR 解析性能。
abstract meaning representationsemantic parsingtransformer architectureself-knowledge distillationstate-of-the-art
发现论文，激发创造
  • 用潜在对齐将 AMR 解析作为图形预测

    本文介绍了一个使用变分自动编码框架和离散对齐的连续轻松方法的神经解析器，其将模型概念、关系和对齐作为联合概率模型的潜在变量用于抽象语义表示 (AMR) 的预测，相较于传统方法，该模型表现优异、更为准确和可行。

    May, 2018

  • AMR 解析和生成的图形预训练

    本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识； 它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。

    Mar, 2022

  • 基于 Transformer 建模图形结构以提升 AMR-to-Text 生成

    本文研究针对 AMR-to-text generation 的问题，提出了一种新颖的基于自注意力机制的模型，用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果，成绩达到了该基准数据集的最好结果。

    Aug, 2019

  • 基于序列到序列 Transformer 的结构感知微调用于基于转换的 AMR 分析

    探索将预训练的序列到序列语言模型与结构感知的基于转换的方法相集成，在提高 AMR 解析效果的同时保持先前基于转换的方法的优质属性，从而使模型更简单、更可靠。

    Oct, 2021

  • 基于图序列迭代推理的 AMR 解析

    本文提出了一种新的端到端模型，将 AMR 分析视为对输入序列和增量构建的图表的双重决策序列，并通过多个注意力，推理和组合过程来回答两个关键问题：输入序列的哪一部分需要抽象，以及在图表的哪个位置构建新的概念，实验结果表明，所提出的模型相较于之前的方法，在解决 AMR 分析的准确性方面取得了很大进步，无需任何大规模预训练语言模型（如 Bert），我们的模型就已经超过之前的最新技术水平。

    Apr, 2020

  • 使用动作 - 指针变换器进行 AMR 解析

    本文提出了一种基于 Transformer 架构的、利用硬注意与目标端点机制相结合的过渡式 AMR 解析器，该解析器通过显式地对齐目标节点与源句子标记而提高了表现。

    Apr, 2021

  • 将 AMR 句法分析作为序列到图的转换

    我们提出了一种基于关注机制的模型，将 AMR 解析视为序列到图的转换，与大多数依赖于预训练对齐程序、外部语义资源或数据增强的 AMR 解析器不同，我们的提议的解析器是免费的，它可以有效地训练用于有限数量的标记 AMR 数据。我们的实验结果优于以前报告的所有 SMATCH 得分，无论是在 AMR 2.0（LDC2017T10 上的 76.3％F1）还是 AMR 1.0（LDC2014T12 上的 70.2％F1）上。

    May, 2019

  • 带有类型语义代数的 AMR 依存解析

    我们提出了一种语义解析器，可以将字符串解析为 AMR 图的组成结构的树形表示，利用语言学原则约束标准神经技术进行超标记和依存树解析。我们提出了两种近似解码算法，实现了最先进的准确度并优于强基线。

    May, 2018

  • 基于转移的 AMR 分析的对齐生成及应用

    通过直接学习 node-to-word alignments，提出了一个基于神经网络的 AMR 分析算法，并通过分析 aligner 有关的重要操作序列的分布集成于解析器的训练过程中，从而提高了对 AMR3.0 的性能。

    May, 2022

  • 引导逆向图线性化的 AMR 解析

    提出一种新的逆序图线性化（RGL）增强框架来解决序列到序列方法在解码过程中面临的结构损失积累问题，并通过两次传递的自蒸馏机制将逆序线性化引入原始 AMR 解析器，提高模型性能并在 AMR 2.0 和 AMR 3.0 数据集上取得了显著优势。

    Oct, 2023