EMNLPOct, 2020

通过不确定性理解神经网络抽象摘要模型

PDF
TL;DR通过对两个已预训练模型 PEGASUS 和 BART 进行分析，本文探讨了在两个文本摘要数据集上，token-level 预测的不确定性与模型规律的关系，发现模型在复制标记而非生成新文本的情况下，预测熵值较小；同时，不确定性与句子位置、相邻标记之间的语法距离等因素有关，并阐述了注意力机制对模型效果的影响。
seq2seqabstractive summarizationentropytoken-level predictionsattention behavior
发现论文，激发创造
  • 关于概率神经摘要中的不确定性校准和选择性生成：一项基准研究

    我们研究了深度学习方法在文本摘要中存在的局限性，提出使用概率深度学习方法来提高模型生成与不确定性质量， 并在实践中采用适当的方法来避免摘要生成的低质量问题。

    Apr, 2023

  • 抽象文本摘要中的事实不一致问题：一项调查

    研究表明，使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要，但是由于摘要的抽象性较高，导致文章中存在失真和伪造的问题，因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。

    Apr, 2021

  • 主题扩充生成器用于抽象化摘要

    该研究提出了一种新的解码器，通过条件调整文本和文档的潜在主题来生成摘要，使用 LDA 等主题模型揭示了更多的全局语义信息，使解码器能够访问文本语料库级别的词共现统计信息，实验表明，与现有模型相比，该方法能显著提高 ROUGE 分数。

    Aug, 2019

  • 论抽象化摘要中的忠实度与客观性

    分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

    May, 2020

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 通过对比学习缓解摘要文本生成中的曝光偏差

    提出使用对比学习来减少低质量文摘的可能性，同时增加黄金文摘的可能性，以解决 Encoder-decoder 模型在训练和推理中的偏差问题，并在实验中证明这种方法有效地提高了最先进模型在不同数据集上的性能。

    Aug, 2021

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 不确定性决定了序列到序列模型的适用性和解码的可操作性

    通过测量自然语言处理中 intristic uncertainty 的程度，我们发现它会对搜索过程的归纳偏差和精确搜索的复杂度等方面产生重大影响，并提出了一种新的精确搜索算法用于神经序列模型，发现 intristic uncertainty 会影响模型的不确定性，从而导致概率质量过度分散。

    Apr, 2022

  • 使用序列到序列 RNN 及其扩展进行抽象文本摘要

    该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。

    Feb, 2016

  • 随机加权编码器在摘要任务中的出色表现

    本文考察了未经训练的随机初始化编码器在一般的序列到序列模型中的性能，以及在抽象概括任务中与完全训练过的编码器的性能进行了比较。结果表明，未经训练的随机初始化编码器的架构在性能方面与完全训练过的编码器的等效架构相媲美。同时，编码器的容量不仅改进了整体模型的泛化能力，而且还弥补了未经训练的随机初始化编码器与完全训练过的编码器之间的性能差距。据我们所知，这是首次对具有注意力的一般序列到序列模型进行无训练和随机投影表示的抽象概括评估。

    Feb, 2020