探索可解释性选择以控制抽象摘要
本文提出了一种神经摘要模型,能够通过简单而有效的机制实现用户对文本长度、风格、感兴趣的实体等高级属性的控制,以生成符合用户需求的高质量摘要,并在 CNN-Dailymail 数据集上优于现有的自动化系统和人工评价。
Nov, 2017
在这篇论文中,我们提出了一种新颖的端到端神经网络框架,通过联合学习对句子进行评分和选择来实现摘要提取。在 CNN / Daily Mail 数据集上的实验证明,我们的方法比现有的抽取式摘要模型表现出更好的效果。
Jul, 2018
本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷,使得模型可以更好的理解要点,同时引入课程学习的方法提高了训练速度和质量,并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性,同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。
Feb, 2023
本论文提出一种快速、精准的摘要生成模型,该模型首先选择重要句子,然后使用新颖的基于句子级的策略梯度方法实现两个神经网络之间的其它计算,最后生成简洁的总体摘要。该模型在 CNN/Daily Mail 数据集上的表现达到了最新的最佳水平,并且具有更高的抽象性得分,同时也展示出相较于之前的长段落编码 - 解码模型,更快的推断速度和训练收敛速度优势,而且在 DUC-2002 数据集上表现更优。
May, 2018
一种基于孪生网络的无监督抽取式摘要模型,引入了可训练的双向预测目标,在选定的摘要和原始文档之间进行训练。与基于中心性排名的方法不同,我们的抽取式评分器可以进行端到端训练,无需位置假设。此外,我们通过近似 0-1 背包问题求解器引入了一个可微分的长度控制模块,用于端到端可控制长度的抽取。实验证明,相同的句子编码器下,我们的无监督方法在很大程度上优于基于中心性排名的基准方法。在长度控制能力方面,通过我们可训练的背包模块,性能始终优于强基准方法,而无需进行端到端训练。人工评估进一步证明,我们的方法在相关性和一致性方面优于基准方法。
Dec, 2023
论文提出了一种基于神经网络和连续句子特征的数据驱动型抽取式摘要方法,采用层级文档编码器和基于注意力机制的提取器的通用框架,能够训练不同的摘要模型(提取句子或单词),在大规模语料库上进行实验结果表明,该方法在不需要语言注解的情况下取得了与现有技术相当的效果。
Mar, 2016
提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型,通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要,与目前最先进模型相比,在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分,并且人工评估表明我们的模型产生了更高质量的摘要。
May, 2017
该研究提出了一种基于 Transformer 的架构,能够生成以特定主题为焦点的摘要,并通过修改 Transformer 的交叉注意机制实现主题焦点控制,从而在 NEWTS 数据集上取得了新的最佳表现,并且能够通过微调将该机制应用于不同的 Transformer 模型,提高了 CNN/Dailymail 和 XSum 基准数据集上的抽象概括性能。同时,通过人工评估证明,该模型生成的摘要更加准确,胜过了最先进的 Frost 模型。
Nov, 2023
本文提出了一种简单的方法来解决神经网络摘要方法中存在的内容选择问题:使用数据有效的内容选择器来过度确定应该作为摘要的来源文档中的短语,通过作为自底向上的注意步骤来约束模型以生成更简洁而流畅的摘要。该方法比其他端到端内容选择模型更简单且性能更高,在 CNN-DM 和 NYT 语料库中表现出显著的 ROUGE 值提高。此外,内容选择器只需要训练 1000 个句子就可以使摘要器轻松地进行领域转移。
Aug, 2018
本文提出了一种基于数据驱动的、对抽象句子的局部关注模型进行生成式摘要的方法,通过训练大规模数据,该模型相比较于几种强基线模型在 DUC-2004 共享任务中表现了显著的性能提升。
Sep, 2015