ACLJun, 2021

通过切除和归因来分解抽象摘要模型的生成模式

PDF
TL;DR本文提出了一种两步解释自然语言生成的方法，通过对自然语言生成器生成标注的决策进行分类并解释，以确定生成指定层级的下一个标注所依赖的输入内容。
neural abstractive summarizationinterpretationgeneration modesattribution methodsmemorization
发现论文，激发创造
  • 指点还是不指点：深入理解摘要生成器的文本改写技术

    本文研究了抽象神经摘要模型中常用的门控机制是如何控制摘要产生的抽象度和拷贝的提取性，并通过实验证明了这种机制在语法边界方面的应用。同时，也发现了抽象神经摘要模型目前缺乏生成都具备抽象和忠实性的释义所必需语义理解能力的问题。

    Jun, 2021

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 主题扩充生成器用于抽象化摘要

    该研究提出了一种新的解码器，通过条件调整文本和文档的潜在主题来生成摘要，使用 LDA 等主题模型揭示了更多的全局语义信息，使解码器能够访问文本语料库级别的词共现统计信息，实验表明，与现有模型相比，该方法能显著提高 ROUGE 分数。

    Aug, 2019

  • 通过不确定性理解神经网络抽象摘要模型

    通过对两个已预训练模型 PEGASUS 和 BART 进行分析，本文探讨了在两个文本摘要数据集上，token-level 预测的不确定性与模型规律的关系，发现模型在复制标记而非生成新文本的情况下，预测熵值较小；同时，不确定性与句子位置、相邻标记之间的语法距离等因素有关，并阐述了注意力机制对模型效果的影响。

    Oct, 2020

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 基于神经注意力机制的摘要句子生成模型

    本文提出了一种基于数据驱动的、对抽象句子的局部关注模型进行生成式摘要的方法，通过训练大规模数据，该模型相比较于几种强基线模型在 DUC-2004 共享任务中表现了显著的性能提升。

    Sep, 2015

  • 基于神经网络的观点和论证摘要生成

    用基于注意力机制的神经网络模型，依据重要性进行采样的方法，生成更优于现有方法的电影评论和争论的摘要。

    Jun, 2016

  • 探索可解释性选择以控制抽象摘要

    本篇研究发展了一个名为 ESCA 的模型，该模型通过开创性的选择 - 生成框架实现了文档摘要，能够以更好的性能应用于 CNN/Daily Mail 和 NYT50 等基准数据集。

    Apr, 2020

  • 文本摘要模型的训练动态

    本文分析生成模型的训练动态，特别是聚焦于总结的方面，并研究了不同阶段的训练过程中模型学到的东西，通过简单的训练修正可以实现不同目标，比如提高事实性和提高抽象程度。

    Oct, 2021

  • 关于 BERT 说明解释的实证研究：序列分类

    本文对 BERT 在序列分类任务中的决策方法进行解释，并对现有的四种属性方法进行了广泛的分析，以应用于四个不同的情感分析数据集。通过各种消融研究比较了每种方法的可靠性和稳健性，并测试属性方法是否能解释语义上相似的任务的广义语义。

    Jan, 2021