ACLMar, 2022

AMR 解析和生成的图形预训练

PDF
TL;DR本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识； 它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。
发现论文，激发创造
  • 基于语义的对话理解预训练

    本研究提出了一种基于语义学的预训练框架，使用抽象含义表示（AMR）来捕捉对话中的核心语义信息，实验证明其在闲聊和任务导向对话的理解上比标准预训练框架更具优势，并且是首次在对话预训练中利用了深层语义表示。

    Sep, 2022

  • 神经 AMR: 序列到序列模型用于解析和生成

    使用数百万个未标记的句子和对 AMR 图的精心预处理，我们提出了一种新颖的训练过程，成功地解决了 AMR 中有限的标记数据和非顺序的图表征对序列到序列模型的限制。我们在 AMR 解析和生成任务上取得了竞争性结果，并得到了丰富的分析和证据表明序列基 AMR 模型对图表征的排序变化具有鲁棒性。

    Apr, 2017

  • 用潜在对齐将 AMR 解析作为图形预测

    本文介绍了一个使用变分自动编码框架和离散对齐的连续轻松方法的神经解析器，其将模型概念、关系和对齐作为联合概率模型的潜在变量用于抽象语义表示 (AMR) 的预测，相较于传统方法，该模型表现优异、更为准确和可行。

    May, 2018

  • 基于 Transformer 的 AMR 解析中的图信息合并

    本文提出了 LeakDistill，通过使用结构适配器显式地将图形信息纳入到学习表示中，使用自知识蒸馏技术，无需使用额外数据就可以获得最先进的 AMR 解析性能。

    Jun, 2023

  • 基于序列到序列 Transformer 的结构感知微调用于基于转换的 AMR 分析

    探索将预训练的序列到序列语言模型与结构感知的基于转换的方法相集成，在提高 AMR 解析效果的同时保持先前基于转换的方法的优质属性，从而使模型更简单、更可靠。

    Oct, 2021

  • 基于 Transformer 建模图形结构以提升 AMR-to-Text 生成

    本文研究针对 AMR-to-text generation 的问题，提出了一种新颖的基于自注意力机制的模型，用于更好地模拟 AMR 图中间接连接概念之间的关系。通过实验在英语 AMR 基准数据集上展示了该模型明显优于现有模型的效果，成绩达到了该基准数据集的最好结果。

    Aug, 2019

  • 预训练语言模型中用于 AMR 转文本生成的结构性适配器

    本文提出了一种新的适配器方法 StructAdapt，能够快速而高效的嵌入图形结构到预训练语言模型（PLM）中，以解决在 PLMs 中编码结构化数据的挑战，并在仅使用 5.1％的 PLM 参数进行训练的情况下，在两个 AMR-to-text 数据集上优于现有技术。

    Mar, 2021

  • 利用序列到序列预训练改进 AMR 解析

    本文论述了使用 Seq2Seq 预训练方法和多任务细调方法，建立单一和联合预训练模型，并取得最先进的性能，以提高抽象意义表示 - AMR - 解析的数据集规模限制问题。

    Oct, 2020

  • 探究预训练语言模型在图形生成文本方面的应用

    本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

    Jul, 2020

  • 神经网络用于 AMR 到文本的调查

    本文概述了 AMR-to-Text 的研究现状和方法，并细分为基于规则，Seq-to-Seq，Graph-to-Seq，Transformer 和 PLM 等五类方法。着重介绍了基于神经网络的方法和 AMR-to-Text 的最新进展，包括 AMR 重构和 Decoder 优化等。此外，本文还介绍了 AMR-to-Text 的基准测试和评价方法，并提供了当前技术和未来研究的展望。

    Jun, 2022