ACLOct, 2018

深度学习摘要模型中的内容选择

PDF
TL;DR在新闻、个人故事、会议和医学文章等领域，我们使用深度学习模型进行摘要实验，以了解如何进行内容选择。我们发现，许多最先进的抽取式摘要生成器的先进功能并不能提高性能。这些结果表明，为新领域创建摘要生成器比先前的工作所建议的要容易，并质疑深度学习模型在摘要生成方面为那些具有大规模数据集（即新闻领域）的领域带来的好处。与此同时，他们提出了新的摘要研究的重要问题；换句话说，需要更适合摘要任务的新型句子表示或外部知识源。
发现论文，激发创造
  • 基于深度学习的文本摘要综述

    近年来，深度学习通过能够学习语言数据的复杂表示方式从而在自然语言处理中带来了革命性的变化，深度学习模型广泛应用于提升多种自然语言处理任务的性能。本文综述了近年来流行的文本摘要任务，包括抽取式、生成式、多文档等，并讨论了相关的深度学习模型以及其在这些任务上的实验结果，同时涵盖了摘要任务的数据集和数据表示，以及与之相关的机遇和挑战，旨在激发未来的研究努力以进一步推动该领域的发展。研究目标在于解释这些方法在其需求上的不同之处，因为对它们的理解对于选择适用于特定环境的技术至关重要。

    Oct, 2023

  • 寻找有效的神经生成式摘要：现状和下一步工作

    本文研究了深度神经网络在文本摘要中的应用，通过研究模型架构、可转移的知识和学习模式等方面，提出了改进现有框架的有效方法，并在 CNN/DailyMail 数据集上取得了领先的成果，为未来摘要研究提供了线索。

    Jul, 2019

  • 基于句子和单词提取的神经摘要

    论文提出了一种基于神经网络和连续句子特征的数据驱动型抽取式摘要方法，采用层级文档编码器和基于注意力机制的提取器的通用框架，能够训练不同的摘要模型（提取句子或单词），在大规模语料库上进行实验结果表明，该方法在不需要语言注解的情况下取得了与现有技术相当的效果。

    Mar, 2016

  • 文本摘要技术取得了哪些成就？

    通过使用多维度质量度量标准（MQM），我们手动量化了 10 种代表性汇总模型中 8 种主要错误来源，发现在相似设置下，提取式汇总器总体上比其抽象式汇总器表现更好，尤其是在忠实度和事实一致性方面。同时，预训练技术，特别是序列到序列的预训练技术，对于提高文本汇总效果非常有效，其中 BART 效果最好。

    Oct, 2020

  • 自下而上的抽象摘要

    本文提出了一种简单的方法来解决神经网络摘要方法中存在的内容选择问题：使用数据有效的内容选择器来过度确定应该作为摘要的来源文档中的短语，通过作为自底向上的注意步骤来约束模型以生成更简洁而流畅的摘要。该方法比其他端到端内容选择模型更简单且性能更高，在 CNN-DM 和 NYT 语料库中表现出显著的 ROUGE 值提高。此外，内容选择器只需要训练 1000 个句子就可以使摘要器轻松地进行领域转移。

    Aug, 2018

  • 领域适应效应对神经抽象摘要的试点研究

    研究了神经抽象摘要的领域适应问题，发现预训练模型利用提取式摘要可以提高摘要质量，同时结合域内和域外数据可以获得更好的摘要效果，但对于目标领域的风格要求域内数据。

    Jul, 2017

  • 科学论文摘要的监督式提取方法

    本文介绍了一种新的数据集，用于总结计算机科学出版物，展示了利用神经句子编码和传统的总结功能来开发模型的方式，并表明即使在传统的科学领域中，对句子的编码以及他们的本地和全局背景进行编码的模型也有很好的性能，并实现了明显优于已经建立的基准方法的结果。

    Jun, 2017

  • 神经网络实现抽取式文本摘要

    本文提出了一种全面基于数据驱动的方法，利用前馈神经网络进行单一文档摘要方法，并在标准 DUC2002 数据集上进行了模型的训练和评估，其结果与最先进的模型相当。所提出的模型可伸缩，并能够通过将原始文档分成固定大小的部分，递归地将其馈送到网络中来生成任意大小的文档摘要。

    Feb, 2018

  • 联合学习打分和选择句子的神经文档摘要

    在这篇论文中，我们提出了一种新颖的端到端神经网络框架，通过联合学习对句子进行评分和选择来实现摘要提取。在 CNN / Daily Mail 数据集上的实验证明，我们的方法比现有的抽取式摘要模型表现出更好的效果。

    Jul, 2018

  • 利用信息提取和压缩进行大规模多文档摘要

    开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

    May, 2022