基于 Transformer 的自动文摘实现
本文采用神经抽象总结的方法来产生长文档的抽象总结,该方法使用一个简单的抽取步骤来生成一个摘要,然后将其用作相关信息的转换器语言模型的条件,然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果,而且这种方法产生的抽象总结比以前采用复制机制的工作能够实现更高的浸润得分。
Sep, 2019
本文研究使用 Transformer 技术来提高自动文本摘要的效率,提出基于检索的方法,可以降低处理整个文档的成本。实验结果表明,相较于基线,该方法的存储占用更少,且保证了文本摘要的可靠性。
Dec, 2022
本文探讨了利用 Transformer-based 系统概括多领域科学研究论文的问题,并设计了两种不同类型的概述手段,即 LaySumm 和 LongSumm,使用 ROUGE 指标有效评估了本文系统的优越性。
Jan, 2021
本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷,使得模型可以更好的理解要点,同时引入课程学习的方法提高了训练速度和质量,并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性,同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。
Feb, 2023
本文综述了近期在基于神经网络的自动文本摘要中的十种最先进的神经网络模型,其中包括五种生成式模型和五种抽取式模型,并讨论了应用于摘要任务的相关技术和未来研究的有前途的方向。
Mar, 2018
本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现,提出了基于源嵌入和领域自适应训练的方法,并在三个摘要数据集上进行了测试,并在其中两个数据集上取得了新的最佳表现。结果表明,该方法能够产生更专注的摘要,并且对于更抽象的数据集表现得更加明显。
Jun, 2019
自动摘要是计算机缩短文本数据的过程,以创建一个表示原始文本中最重要的信息的子集 (摘要)。现有的摘要方法大致可以分为两类:抽取式和生成式,前者会从源文档中显式选择文本片段 (单词,短语,句子等) ,而后者则会生成新的文本片段来传达源文件中最突出的概念。
Apr, 2022
本文提出了一种新的基于 Transformer 的方法,称为 Absformer,旨在针对没有提供摘要总结的文档进行无监督的抽象式多文档摘要生成,并在现实世界的三个不同领域的数据集上进行了评估,结果表明该方法在评价指标方面取得了实质性的提高,并且具有从不同领域的数据集中泛化的优势。
Jun, 2023
本文是一篇关于使用自然语言处理技术生成简化版摘要的研究综述,发现基于 transformer 的方法如 BERT 和 PEGASUS 在生成 lay text summarisation 方面相对优秀,并建议采用抽取式和生成式相结合的混合方法,并开发一些新的评估指标以确保 lay summary 更易读。
Mar, 2023