COLINGNov, 2020

基于 BERT 的分层图掩蔽的事实级提取式摘要

PDF
TL;DR通过提取基于事实的语义单元，并将多级粒度的文本信息结合到模型中，并使用层次图表结合 BERT 模型，我们在 CNN/DailyMail 数据集上获得了最好的结果。
extractive summarizationfact-level semantic unitshierarchical structurebertstate-of-the-art results
发现论文，激发创造
  • 神经潜在抽取式文档摘要

    本篇文章提出一种基于潜变量的抽取式文本摘要模型，通过使用句子作为潜变量和检索金标准摘要来改善基于启发式标签的抽取式模型，并在 CNN/Dailymail 数据集上得到了良好的结果。

    Aug, 2018

  • 由潜在分层文档结构引导的抽象摘要

    提出使用层次感知图神经网络（HierGNN）实现文档结构层次分析的自动摘要模型，在 CNN / DM 和 XSum 数据集上分别取得了平均 ROUGE-1/2/L 为 0.55 和 0.75，在人工评估中也证明了其比基线具有更高的内容相关性和较少的冗余。

    Nov, 2022

  • 基于句子和单词提取的神经摘要

    论文提出了一种基于神经网络和连续句子特征的数据驱动型抽取式摘要方法，采用层级文档编码器和基于注意力机制的提取器的通用框架，能够训练不同的摘要模型（提取句子或单词），在大规模语料库上进行实验结果表明，该方法在不需要语言注解的情况下取得了与现有技术相当的效果。

    Mar, 2016

  • 利用主题感知图神经网络增强抽取式文本摘要

    本文提出了基于图神经网络（GNN）的抽取式摘要模型，并整合了深度神经主题模型（NTM）来发现潜在主题，从而提供句子选择的文档级特征，实验结果表明，我们的模型在 CNN/DM 和 NYT 数据集上取得了最先进的结果，在由较长文档组成的科学论文数据集上也明显优于现有方法，进一步研究表明，主题信息可以帮助模型从整个文档中预先选择凸显内容，因此能够有效地摘要长文档。

    Oct, 2020

  • 利用预训练的层次 Transformer 进行无监督抽取式摘要

    本文提出了一种使用 transformer 自注意力机制进行无监督文本摘要提取的方法，并在 CNN / DailyMail 和 New York Times 数据集上证明其优于现有的无监督模型，且不太依赖于句子位置。

    Oct, 2020

  • 微调 BERT 用于抽取式摘要

    本文提出了 BERTSUM，即 BERT 的摘要变体，通过在 CNN / Dailymail 数据集上的评估证明其在提取性摘要方面超越了现有的最佳系统。

    Mar, 2019

  • SumHiS: 挖掘隐藏结构的提取式摘要

    我们介绍了一种利用文本的隐藏聚类结构进行摘要提取的新方法。在 CNN/DailyMail 数据集上的实验结果表明，我们的方法生成的摘要比提取式和抽象式方法更准确，并在 ROUGE-2 指标方面取得了超过先前方法 10% 的最新成果。此外，我们还展示了文本的隐藏结构可以解释为不同的主题。

    Jun, 2024

  • 语境感知神经提取式文本摘要

    使用 Discobert 模型从已修剪的子句中提取文本，通过基于结构的话语图来捕获在 BERT 中不能很好捕获的长程依赖关系，该模型在流行的摘要基准测试中表现出显着的优越性。

    Oct, 2019

  • HiStruct+: 基于层次结构信息的提取式文本摘要优化

    通过提出的 HiStruct+ 模型，将 Transformer-based language models 中的层级结构信息显式注入到提取式文摘模型中，提高了 PubMed 和 arXiv 数据集中提取式文摘的 ROUGEs 指标，实验发现：数据集对模型效果的影响是关键因素，数据集中的明显层级结构可以取得更大的性能提升，而在模型的表现中，层级位置信息的贡献最大。

    Mar, 2022

  • 阅读、标记和总结：基于层次神经语义编码器的方法

    本文提出了一种基于文档精华提取的文本摘要方法，并通过引入语言因素和改进神经网络如 LSTMs 和 Neural Semantic Encoders，利用自我强化学习模型进一步提高了文本摘要的质量，实现并超越了文本摘要领域的最佳性能，其中基于分层 NSE 模型的 ROUGE 值提升近 4 个百分点。

    Oct, 2019