本文提出一种无监督的方法，对摘要生成的可选方案进行重新排名，以缩小无监督和有监督模型之间的性能差距。与四个广泛采用的摘要基准相比，该方法将预训练的无监督 PEGASUS 的相关平均 ROUGE 增加了 4.37% 至 7.27%，并在 30 个转移设置中实现了 7.51% 的相对增益（高达 23.73%）。

Dec, 2022

本文研究了使用预训练 Transformer 模型进行长输入摘要所面临的挑战，并通过实验提出了一种新的模型 PEGASUS-X，在不需要并行训练和添加很多参数的情况下，能够高效地处理长度超过常规预训练模型最大输入长度的输入，并在长输入摘要任务中达到了比较强的性能表现。

Aug, 2022

FactPEGASUS 是一种解决事实准确性问题的抽象摘要模型，它在预训练和微调期间增加了关于事实的数据，通过三个组成部分的微调完成，其实现了从基准中提取事实并不断改进事实准确性。

May, 2022

本文提出了一种使用 transformer 自注意力机制进行无监督文本摘要提取的方法，并在 CNN / DailyMail 和 New York Times 数据集上证明其优于现有的无监督模型，且不太依赖于句子位置。

Oct, 2020

该研究使用深度学习模型进行文本自动摘要，通过重新排序生成的摘要，显著提高了 ROUGE 1 得分。

Mar, 2022

本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

Feb, 2023

本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。

Jun, 2019

本研究提出了一种抽象化汇总方法，可用于文档集合而非个别文档。我们的方法应用语义聚类、主题聚类内的文档大小缩减、聚类文件的语义分块、基于 GPT 的汇总和连接以及每个主题的综合情感和文本可视化，支持探索性数据分析。通过使用 ROGUE 汇总分数将我们的结果与现有的先进系统 BART、BRIO、PEGASUS 和 MoCa 进行了统计比较，我们发现在 CNN/Daily Mail 测试数据集上，性能与 BART 和 PEGASUS 相当，在 Gigaword 测试数据集上，性能与 BART 相当。这一发现是令人鼓舞的，因为我们认为文档集合的汇总比个别文档的汇总更具挑战性。最后，我们讨论了规模问题。

Oct, 2023

该文提出了一种名为 NAUS 的非自回归无监督摘要方法，使用基于编辑的搜索生成伪基准摘要，并在此基础上训练一个仅含编码器的非自回归 Transformer，通过动态规划方法进行长度控制解码，实现了在无监督摘要中取得最新的性能提升，同时提高了推理效率。

May, 2022

提出了 TED，一种基于 Transformer 的无监督抽象摘要系统，该系统预先训练了大规模数据，利用主题建模和去噪自编码器来提高生成摘要的质量，并在 NYT，CNN/DM 和 English Gigaword 数据集中优于所有无监督抽象基线模型，并高度具有抽象性。

Jan, 2020