Mar, 2022

自上而下和自下而上推理的长文档摘要

PDF
TL;DR本文提出了一种层次化的潜在结构，通过自下而上的推理使用本地自我注意力来提高文本摘要模型的效率，并通过自上而下的修正使标记能够捕获长距离依赖性，此方法在各种摘要数据集上表现出竞争性或更好的性能，并且使用更少的训练数据和较少的模型参数可以总结整本书。
text summarizationlatent representationhierarchical structuretop-down correctionefficiency
发现论文，激发创造
  • 文档级主体概括

    本文研究使用 Transformer 技术来提高自动文本摘要的效率，提出基于检索的方法，可以降低处理整个文档的成本。实验结果表明，相较于基线，该方法的存储占用更少，且保证了文本摘要的可靠性。

    Dec, 2022

  • 局部关注和内容选择实现的长篇摘要

    本研究提出使用 local self-attention 和 explicit content selection 两种方法来应对长篇文档摘要中的长跨度依赖，并利用大型预训练变压器模型在 Spotify Podcast、arXiv 和 PubMed 等标准数据集上进行实验，证明两种方法的组合可以在 3 个任务中实现 ROUGE 得分的最优结果。此外，与现有算法相比，在没有大规模 GPU 计算机卡的情况下，本研究的方法也可以实现相当或更好的结果。

    May, 2021

  • 多文档摘要的分层 Transformer

    本文提出了一种神经网络归纳模型，能够有效地处理多个输入文档，并利用 Transformers 架构对文档进行层次编码，通过注意力机制来表示跨文档之间的关系，并学习文本单元之间的潜在依赖关系，在 Wikisum 数据集上的实验证明，所提出的架构比数个强基线模型都有明显的改进。

    May, 2019

  • 基于 Transformer 的源代码摘要方法

    本文探讨使用 Transformer 模型和自注意力机制来生成代码表示以进行源代码概述的任务，并提出其相对编码表现显著优于绝对编码，并通过实验验证其在处理长距离依赖性方面的有效性，实现了领先于现有技术的性能表现。

    May, 2020

  • 一种论述感知的长文本抽象摘要关注模型

    本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

    Apr, 2018

  • 长文档摘要的分而治之方法

    该研究提出了一种新颖的分治法神经摘要长文档的方法，结合话语结构和句子相似性将长文档分解为多个摘要子问题。通过该方法可以有效地降低计算复杂度，提高摘要效果。

    Apr, 2020

  • Summaformers @ LaySumm 20, LongSumm 20

    本文探讨了利用 Transformer-based 系统概括多领域科学研究论文的问题，并设计了两种不同类型的概述手段，即 LaySumm 和 LongSumm，使用 ROUGE 指标有效评估了本文系统的优越性。

    Jan, 2021

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • 使用分层学习生成长源序列

    本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

    Apr, 2021

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023