EMNLPSep, 2019

结合全局和局部上下文的长文档摘要提取

PDF
TL;DR本文提出了一种新颖的神经网络抽取式文档摘要模型，结合整个文档的全局上下文和当前主题内的局部上下文；我们在 Pubmed 和 arXiv 两个科学论文数据集上评估了该模型，并在 ROUGE-1，ROUGE-2 和 METEOR 分数上优于以前的工作，包括抽象模型和提取模型；更为惊讶的是，消融分析表明，我们的模型的好处似乎仅来自于对局部上下文的建模，即使对于最长的文档。
发现论文，激发创造
  • 基於 Transformer 語言模型的抽取式和生成式神經文件摘要

    本文采用神经抽象总结的方法来产生长文档的抽象总结，该方法使用一个简单的抽取步骤来生成一个摘要，然后将其用作相关信息的转换器语言模型的条件，然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果，而且这种方法产生的抽象总结比以前采用复制机制的工作能够实现更高的浸润得分。

    Sep, 2019

  • 生成长文档的扩展摘要

    本研究基于多任务学习方法，利用文件的层次结构生成长篇文献的扩展摘要，并在三个大型数据集上验证其优于其他强基准模型的性能，为长篇文献摘要生成任务的未来研究提供了深入的洞见。

    Dec, 2020

  • SciBERTSUM: 面向科学文档的提取式摘要

    SciBERTSUM 是一种针对科学论文的摘要框架，通过增加节嵌入层和应用稀疏注意力机制，在长文本（超过 500 句）中表现出更好的 ROUGE 分数。

    Jan, 2022

  • 为文本摘要增加和掌控全球语义

    本研究介绍并应用了一种神经主题模型以及归一化流以捕捉文档的全局语义，并将其整合到摘要模型中，以解决 Transformer-based 模型在摘要生成中存在的短程依赖问题，同时在五个常用文本摘要数据集上表现优于现有方法。

    Sep, 2021

  • 局部关注和内容选择实现的长篇摘要

    本研究提出使用 local self-attention 和 explicit content selection 两种方法来应对长篇文档摘要中的长跨度依赖，并利用大型预训练变压器模型在 Spotify Podcast、arXiv 和 PubMed 等标准数据集上进行实验，证明两种方法的组合可以在 3 个任务中实现 ROUGE 得分的最优结果。此外，与现有算法相比，在没有大规模 GPU 计算机卡的情况下，本研究的方法也可以实现相当或更好的结果。

    May, 2021

  • 文本摘要的通用上下文重写框架

    通过将抽取和生成的方法相结合，利用生成模型提高了抽取式摘要的简洁性和可读性。本研究提出了上下文感知的重写方法，通过 group-tag alignments 将传统的抽取方式转化为生成方式，取得了显著的 ROUGE 分数提升。

    Jul, 2022

  • 利用信息提取和压缩进行大规模多文档摘要

    开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

    May, 2022

  • 长文档摘要的分而治之方法

    该研究提出了一种新颖的分治法神经摘要长文档的方法，结合话语结构和句子相似性将长文档分解为多个摘要子问题。通过该方法可以有效地降低计算复杂度，提高摘要效果。

    Apr, 2020

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • 神经抽取式文本摘要与句法压缩

    本文提出了一种基于联合提取和句法压缩的神经模型用于单文档摘要，该模型选择文档中的句子，通过句法分析识别可能的压缩，并用神经模型评分这些压缩以生成最终的摘要，实验结果表明，该模型在 ROUGE 评估中表现良好，能够达到与最先进系统相当的性能，并且其输出一般保持语法正确。

    Feb, 2019