IJCAIMay, 2018

一种加强主题感知的卷积序列到序列模型用于抽象文本摘要

PDF
TL;DR本文提出了一种深度学习方法来解决自动摘要任务，通过将主题信息结合到卷积序列到序列 (ConvS2S) 模型中，并使用自举式非监督序列训练 (SCST) 进行优化。通过联合关注主题和单词级别对齐，我们的方法可以通过有偏的概率生成机制改善生成摘要的一致性、多样性和信息量。与 SCST 类似的强化训练直接根据不可微度量 ROUGE 优化所提出的模型，在推理期间也避免了曝光偏差。我们在 Gigaword、DUC-2004 和 LCSTS 数据集上对最先进的方法进行了实验评估。实证结果证明了我们所提出的抽象摘要方法的优越性。
发现论文，激发创造
  • 利用深度学习架构增强上下文理解的神经序列到序列模型与注意力的应用于抽象文本摘要

    该研究提出了一个新颖的抽象式单文档文本摘要框架，融合了结构、语义和基于神经网络的方法，通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进，优于现有的深度学习技术。

    Apr, 2024

  • 使用序列到序列 RNN 及其扩展进行抽象文本摘要

    该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。

    Feb, 2016

  • 综合的和抽象的摘要：基于行列式点过程的多样化注意力

    本文通过引入一种称为微观 DPPs 和宏观 DPPs 的方法，提出了一个名为 DivCNN Seq2Seq 的 Diverse Convolutional Seq2Seq 模型，用于生成注重质量和多样性的 attention distribution，从而相比传统模型和强基线模型实现更高的综合性摘要生成。

    Sep, 2019

  • 深度强化学习模型用于摘要生成

    提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型，通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要，与目前最先进模型相比，在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分，并且人工评估表明我们的模型产生了更高质量的摘要。

    May, 2017

  • 主题扩充生成器用于抽象化摘要

    该研究提出了一种新的解码器，通过条件调整文本和文档的潜在主题来生成摘要，使用 LDA 等主题模型揭示了更多的全局语义信息，使解码器能够访问文本语料库级别的词共现统计信息，实验表明，与现有模型相比，该方法能显著提高 ROUGE 分数。

    Aug, 2019

  • 面向主题的卷积神经网络进行极端摘要

    本文提出了一种新型单一文档摘要任务 —— 极端提要，旨在采用抽象建模方法，而非传统的提取策略，实现一句话新闻概述，主要探讨了基于卷积神经网络的创新型抽象模型在文档摘要和相关处理方面的性能和应用

    Aug, 2018

  • 通过重新引用源文本进行抽象文档摘要的预训练

    该论文提出了三个预训练目标，并基于未标记的文本对 Seq2Seq based abstractive summarization model 进行预训练，从而在有限的监督 summarization data 上改进其性能，这三个目标与 abstractive document summarization task 有密切关联。实验结果表明，这三个目标均能改进模型性能，且仅使用 19GB 的文本进行预训练即可与使用大规模数据集预训练的模型达到可比较的效果。

    Apr, 2020

  • 改进序列到序列模型，使用元启发式方法进行抽象文本摘要

    在信息时代，人们阅读冗长的新闻文章的时间越来越少，提供简洁的信息摘要变得比以往任何时候都更为重要。本文旨在改进现有的架构和模型，针对抽象文本摘要进行微调超参数，并尝试特定的编码器 - 解码器组合，以提高摘要生成的效果。

    Mar, 2024

  • 基于增强学习的选句重写快速生成摘要

    本论文提出一种快速、精准的摘要生成模型，该模型首先选择重要句子，然后使用新颖的基于句子级的策略梯度方法实现两个神经网络之间的其它计算，最后生成简洁的总体摘要。该模型在 CNN/Daily Mail 数据集上的表现达到了最新的最佳水平，并且具有更高的抽象性得分，同时也展示出相较于之前的长段落编码 - 解码模型，更快的推断速度和训练收敛速度优势，而且在 DUC-2002 数据集上表现更优。

    May, 2018

  • 序列到序列模型的神经摘要文本概括

    本研究从网络结构、训练策略和摘要生成算法三个方面全面综述了不同的 seq2seq 模型用于文本摘要生成的研究，并提出了一个名为 NATS 的开源工具包进行研究，对 CNN / Daily Mail 数据集进行了广泛的实验检验，在 Newsroom 和 Bytecup 数据集上测试了两个模型。

    Dec, 2018