提出了一种基于序列到序列编码器 - 解码器模型并配备深层递归生成解码器的抽象文本摘要框架,通过利用循环潜在随机模型来学习目标摘要中隐含的潜在结构信息以提高摘要质量;同时应用神经变分推断来解决循环潜在变量的不可解后验推断问题,在生成潜在变量和判别性确定状态的基础上生成抽象摘要,实验结果表明,该方法优于现有最先进的方法。
Aug, 2017
该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要,并在两个不同的语料库上展示其实现最先进的性能。同时,该研究还提出了几种解决文摘中的关键问题的新模型,比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外,研究还建立了一个多句子的文摘数据集,以便后续的新研究能建立性能基准。
Feb, 2016
提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型,通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要,与目前最先进模型相比,在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分,并且人工评估表明我们的模型产生了更高质量的摘要。
May, 2017
该研究提出了一种新的解码器,通过条件调整文本和文档的潜在主题来生成摘要,使用 LDA 等主题模型揭示了更多的全局语义信息,使解码器能够访问文本语料库级别的词共现统计信息,实验表明,与现有模型相比,该方法能显著提高 ROUGE 分数。
Aug, 2019
本研究提出了一种全局编码框架,用于控制源上下文的全局信息并降低了重复现象,经过对 LCSTS 和英文 Gigaword 的评估,该模型优于基线模型。
May, 2018
提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要,从而实现比现有方法更高水平的摘要生成。
Aug, 2018
本论文提出一种快速、精准的摘要生成模型,该模型首先选择重要句子,然后使用新颖的基于句子级的策略梯度方法实现两个神经网络之间的其它计算,最后生成简洁的总体摘要。该模型在 CNN/Daily Mail 数据集上的表现达到了最新的最佳水平,并且具有更高的抽象性得分,同时也展示出相较于之前的长段落编码 - 解码模型,更快的推断速度和训练收敛速度优势,而且在 DUC-2002 数据集上表现更优。
本文提出了一种新的长度可控的抽象汇总模型,与以往仅根据编码器 - 解码器模型生成一篇总结不同,我们的模型在编码器 - 解码器模型中结合了单词级别的抽取模块,通过提取重要的词来控制长度,生成了一个同时具有信息和长度控制的汇总。
Jan, 2020
本篇论文中,采用了 GRU-based encoder 和 Bahdanau attention mechanism 对英语文本进行了自动摘要,使用 News-summary 数据集进行训练,其输出表现优异,可以用作报纸头条。
Feb, 2023
本文介绍了一种基于 MTGRU 和时间层次结构的 seq2seq 模型,旨在解决科学文章摘要的抽象化问题,实验结果表明,与传统 RNN 编码器 - 解码器相比,该模型具有更快的训练速度和更好的性能表现,同时时间层次结构有助于改善 seq2seq 模型对于复合性的捕捉能力,而不需要高度复杂的建筑层次结构。
Jul, 2016