基于神经注意力机制的摘要句子生成模型
论文提出了一种基于神经网络和连续句子特征的数据驱动型抽取式摘要方法,采用层级文档编码器和基于注意力机制的提取器的通用框架,能够训练不同的摘要模型(提取句子或单词),在大规模语料库上进行实验结果表明,该方法在不需要语言注解的情况下取得了与现有技术相当的效果。
Mar, 2016
该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法,结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督,并在 CNN/Daily Mail 数据集上验证了其有效性。
Oct, 2019
本文提出了一种针对单个较长文档(如研究论文)进行抽象概括的模型,采用新的分层编码器对文章进行语篇结构建模,并运用有意识的编码器生成摘要,实验证明该模型显著优于现有模型。
Apr, 2018
本文提出了一种简单的方法来解决神经网络摘要方法中存在的内容选择问题:使用数据有效的内容选择器来过度确定应该作为摘要的来源文档中的短语,通过作为自底向上的注意步骤来约束模型以生成更简洁而流畅的摘要。该方法比其他端到端内容选择模型更简单且性能更高,在 CNN-DM 和 NYT 语料库中表现出显著的 ROUGE 值提高。此外,内容选择器只需要训练 1000 个句子就可以使摘要器轻松地进行领域转移。
Aug, 2018
本文提出了一种基于查询的文章摘要生成模型,使用新闻文章摘要数据集训练了指针生成模型,通过与参考摘要的相似度评估生成的摘要,结果表明可以构建类似于抽象式摘要的神经网络模型,使用查询生成有针对性的摘要。
Dec, 2017
本文提出了一种全面基于数据驱动的方法,利用前馈神经网络进行单一文档摘要方法,并在标准 DUC2002 数据集上进行了模型的训练和评估,其结果与最先进的模型相当。所提出的模型可伸缩,并能够通过将原始文档分成固定大小的部分,递归地将其馈送到网络中来生成任意大小的文档摘要。
Feb, 2018
该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要,并在两个不同的语料库上展示其实现最先进的性能。同时,该研究还提出了几种解决文摘中的关键问题的新模型,比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外,研究还建立了一个多句子的文摘数据集,以便后续的新研究能建立性能基准。
Feb, 2016
该研究提出了一个新颖的抽象式单文档文本摘要框架,融合了结构、语义和基于神经网络的方法,通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进,优于现有的深度学习技术。
Apr, 2024
提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型,通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要,与目前最先进模型相比,在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分,并且人工评估表明我们的模型产生了更高质量的摘要。
May, 2017