使用不一致性损失的抽取式和生成式摘要统一模型

ACLMay, 2018

使用不一致性损失的抽取式和生成式摘要统一模型

A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss

Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang...

TL;DR研究人员提出了一种统一模型，结合抽取性与生成性摘要的优势，通过句子级别的关注来调节单词级别的关注，采用新型的不一致损失函数，通过端到端的训练，实现了在 CNN / 每日邮报数据集上最先进的 ROUGE 分数和最信息化和可读性的摘要。

Abstract

We propose a unified model combining the strength of extractive and abstractive summarization. On the one hand, a simple extractive model can obtain sentence-level attention with high ROUGE scores but less readable. On the other hand, a more complicated abstractive model can obtain wor

extractive summarization abstractive summarization attention modulating inconsistency loss end-to-end training

发现论文，激发创造

深度强化学习模型用于摘要生成

提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型，通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要，与目前最先进模型相比，在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分，并且人工评估表明我们的模型产生了更高质量的摘要。

May, 2017

抽象摘要中的句子重写的摘要级别训练

本文通过使用句子重写模型，采用先提取常规句子，后对所选句子进行释义来生成摘要的策略，提出了一种通过强化学习直接最大化摘要级别 ROUGE 得分的新型训练信号，并在 CNN / Daily Mail 和纽约时报数据集上展示了新的最先进表现。在整个实验中，我们还演示了它在 DUC-2002 测试集上的普遍适用性。

Sep, 2019

自下而上的抽象摘要

本文提出了一种简单的方法来解决神经网络摘要方法中存在的内容选择问题：使用数据有效的内容选择器来过度确定应该作为摘要的来源文档中的短语，通过作为自底向上的注意步骤来约束模型以生成更简洁而流畅的摘要。该方法比其他端到端内容选择模型更简单且性能更高，在 CNN-DM 和 NYT 语料库中表现出显著的 ROUGE 值提高。此外，内容选择器只需要训练 1000 个句子就可以使摘要器轻松地进行领域转移。

Aug, 2018

基于神经注意力机制的摘要句子生成模型

本文提出了一种基于数据驱动的、对抽象句子的局部关注模型进行生成式摘要的方法，通过训练大规模数据，该模型相比较于几种强基线模型在 DUC-2004 共享任务中表现了显著的性能提升。

Sep, 2015

基于一致性损失的评论摘要和情感分类统一双视图模型

本文提出了一种通过双重视图模型并使用不一致性损失来同时进行评论摘要和情感分类的方法，证明了该模型在四个不同领域的数据集上具有优异的性能。

Jun, 2020

通过语义相似性学习能更好地实现抽象摘要化

本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

Feb, 2020

摘要生成中的话语理解和事实一致性

该研究提出了一种新的基于 Transformer 的 Co-opNet 框架，旨在消除抽象摘要生成中存在的一些问题，如虚构信息，连贯性问题，流故事性等，并通过实验证明，其与竞争基线相比，具有显著的全局连贯性。

Jul, 2019

抽象文本摘要中的事实不一致问题：一项调查

研究表明，使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要，但是由于摘要的抽象性较高，导致文章中存在失真和伪造的问题，因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。

Apr, 2021

基于增强学习的选句重写快速生成摘要

本论文提出一种快速、精准的摘要生成模型，该模型首先选择重要句子，然后使用新颖的基于句子级的策略梯度方法实现两个神经网络之间的其它计算，最后生成简洁的总体摘要。该模型在 CNN/Daily Mail 数据集上的表现达到了最新的最佳水平，并且具有更高的抽象性得分，同时也展示出相较于之前的长段落编码 - 解码模型，更快的推断速度和训练收敛速度优势，而且在 DUC-2002 数据集上表现更优。

May, 2018

摘要文档生成的注意力优化

该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。

Oct, 2019