ACLMay, 2021

局部关注和内容选择实现的长篇摘要

PDF
TL;DR本研究提出使用 local self-attention 和 explicit content selection 两种方法来应对长篇文档摘要中的长跨度依赖，并利用大型预训练变压器模型在 Spotify Podcast、arXiv 和 PubMed 等标准数据集上进行实验，证明两种方法的组合可以在 3 个任务中实现 ROUGE 得分的最优结果。此外，与现有算法相比，在没有大规模 GPU 计算机卡的情况下，本研究的方法也可以实现相当或更好的结果。
transformer-based modelsdocument summarizationlong-span dependencieslocal self-attentionexplicit content selection
发现论文，激发创造
  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • 文档级主体概括

    本文研究使用 Transformer 技术来提高自动文本摘要的效率，提出基于检索的方法，可以降低处理整个文档的成本。实验结果表明，相较于基线，该方法的存储占用更少，且保证了文本摘要的可靠性。

    Dec, 2022

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • Summaformers @ LaySumm 20, LongSumm 20

    本文探讨了利用 Transformer-based 系统概括多领域科学研究论文的问题，并设计了两种不同类型的概述手段，即 LaySumm 和 LongSumm，使用 ROUGE 指标有效评估了本文系统的优越性。

    Jan, 2021

  • 基於 Transformer 語言模型的抽取式和生成式神經文件摘要

    本文采用神经抽象总结的方法来产生长文档的抽象总结，该方法使用一个简单的抽取步骤来生成一个摘要，然后将其用作相关信息的转换器语言模型的条件，然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果，而且这种方法产生的抽象总结比以前采用复制机制的工作能够实现更高的浸润得分。

    Sep, 2019

  • 自上而下和自下而上推理的长文档摘要

    本文提出了一种层次化的潜在结构，通过自下而上的推理使用本地自我注意力来提高文本摘要模型的效率，并通过自上而下的修正使标记能够捕获长距离依赖性，此方法在各种摘要数据集上表现出竞争性或更好的性能，并且使用更少的训练数据和较少的模型参数可以总结整本书。

    Mar, 2022

  • 预训练变形金刚模型在抽象摘要中的有效适应性

    本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。

    Jun, 2019

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • 为文本摘要增加和掌控全球语义

    本研究介绍并应用了一种神经主题模型以及归一化流以捕捉文档的全局语义，并将其整合到摘要模型中，以解决 Transformer-based 模型在摘要生成中存在的短程依赖问题，同时在五个常用文本摘要数据集上表现优于现有方法。

    Sep, 2021

  • 一种论述感知的长文本抽象摘要关注模型

    本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

    Apr, 2018