摘要文档生成的注意力优化
本文提出了一种基于数据驱动的、对抽象句子的局部关注模型进行生成式摘要的方法,通过训练大规模数据,该模型相比较于几种强基线模型在 DUC-2004 共享任务中表现了显著的性能提升。
Sep, 2015
本文研究了在长文本摘要场景中采用限定范围的模型是否能够提供比具有全局范围的模型更高的性能,并探讨了在不同层次(从句子到文档)的三种文本局部性,实验结果表明,采用局部化建模策略的模型具有更好的性能。
May, 2022
提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型,通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要,与目前最先进模型相比,在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分,并且人工评估表明我们的模型产生了更高质量的摘要。
May, 2017
提出了一种对抽象句子摘要任务的序列到序列框架进行扩展的对比注意机制,以生成给定源句子的简要摘要,并在基准数据集上进行实验证明,在摘要中更关注源句子的相关部分比传统的注意机制更有效。
Oct, 2019
该研究提出了一种基于编码 - 注意 - 解码范式的查询式摘要模型,具有查询注意模型和多样性基于注意模型。实验表明,该模型相对于基础模型具有 28% 的 ROUGE-L 分数的增益。
Apr, 2017
本文提出了一种针对单个较长文档(如研究论文)进行抽象概括的模型,采用新的分层编码器对文章进行语篇结构建模,并运用有意识的编码器生成摘要,实验证明该模型显著优于现有模型。
Apr, 2018
本文通过引入一种称为微观 DPPs 和宏观 DPPs 的方法,提出了一个名为 DivCNN Seq2Seq 的 Diverse Convolutional Seq2Seq 模型,用于生成注重质量和多样性的 attention distribution,从而相比传统模型和强基线模型实现更高的综合性摘要生成。
Sep, 2019
本研究提出了一种简单而有效的关注头屏蔽技术,应用于编码器 - 解码器注意力以确定推断时显着的内容,对三个摘要数据集进行了演示,证明了其在数据效率和性能上的优越性。
Apr, 2021