AAAIFeb, 2020

关注开头：使用双向注意力进行摘要提取的研究

PDF
TL;DR本文提出使用双向注意机制，关注讨论帖子中的开头（初始评论 / 帖子），可以引入一致的 ROUGE 分数提升，并在论坛讨论数据集上引入新的 ROUGE 分数的最新技术，同时发现此假设是否可扩展到其他通用形式的文本数据，通过考虑文本中前几句话，关注开头句，使用双向注意机制可以让摘要提取模型在更通用的文本数据上性能得到提升。
summarization techniquesforum discussion dataextractive summarization modelsbidirectional attentionintroductory sentences
发现论文，激发创造
  • 基于分层注意力网络的在线论坛讨论摘要提取

    本研究首次尝试使用分层注意力网络进行论坛帖子的总结，并使用神经注意力机制创建句子和主题表示形式，其结果表明，采用冗余剔除的方法能够提高论坛帖子总结的效果。

    May, 2018

  • 单文档新闻摘要中的（非）重要内容检测

    本研究提出了一种鲁棒的方法，通过训练文档 - 摘要配对的语料库来检测新闻中内在句子的重要性，并结合‘文档开头’启发式方法，用于单篇文档摘要，得到了比现有先进摘要算法和基线方法更好的结果，这是一个重要的进步。

    Feb, 2017

  • 基于神经注意力机制的摘要句子生成模型

    本文提出了一种基于数据驱动的、对抽象句子的局部关注模型进行生成式摘要的方法，通过训练大规模数据，该模型相比较于几种强基线模型在 DUC-2004 共享任务中表现了显著的性能提升。

    Sep, 2015

  • 一种论述感知的长文本抽象摘要关注模型

    本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

    Apr, 2018

  • Transformer 的抽取式摘要真的需要那么多参数吗？语篇可以提供帮助！

    该研究提出了一种基于文档级语篇信息的参数轻量级自我关注机制，相比原始转换器模型在参数数量上实现了显著减少，并在提取性摘要任务上实现了有竞争力的 ROUGE 分数。

    Dec, 2020

  • 利用话语结构创建会议摘要

    基于 GNN 的节点分类模型，利用话语结构从复杂的多方讨论中筛选出最重要的话语，并生成提取式摘要，实验证明该方法超过现有的基于文本和图的提取式摘要系统。

    May, 2024

  • AttSum: 神经注意力机制的聚焦和摘要联合学习

    AttSum 是一种新的自动学习分布式表示和应用注意力机制的查询聚焦式文本摘要系统，并在标准基准数据集上取得了较好的性能。

    Apr, 2016

  • 带有结构注意力的神经抽象摘要

    本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

    Apr, 2020

  • 自下而上的抽象摘要

    本文提出了一种简单的方法来解决神经网络摘要方法中存在的内容选择问题：使用数据有效的内容选择器来过度确定应该作为摘要的来源文档中的短语，通过作为自底向上的注意步骤来约束模型以生成更简洁而流畅的摘要。该方法比其他端到端内容选择模型更简单且性能更高，在 CNN-DM 和 NYT 语料库中表现出显著的 ROUGE 值提高。此外，内容选择器只需要训练 1000 个句子就可以使摘要器轻松地进行领域转移。

    Aug, 2018

  • 摘要文档生成的注意力优化

    该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。

    Oct, 2019