使用领域转移和数据合成的低资源数据抽象摘要
本文提出了一种方法，利用大型预训练模型和多样的现有语料库，解决低资源抽象摘要化问题，在各种写作风格和形式的摘要语料库上实验证明，我们的方法仅使用 0.7％的可训练参数与以前的工作相比，在低资源情况下实现了 6 个语料库的最新技术水平。
Feb, 2021
本研究探讨了在低资源环境下，针对六个不同领域的抽象摘要任务中，利用大规模生成模型进行领域自适应预训练的有效性。实验表明，预训练的有效性与预训练数据与目标任务的相似度相关，同时发现预训练会导致预训练模型的灾难性遗忘，但使用一种遗忘较少的学习方法可以缓解这个问题。此外，结果表明低资源和高资源的差距仍然很大，需要更先进的领域自适应方法来解决抽象摘要任务中的问题。
Mar, 2021
通过数据合成、数据增强、课程学习等方法，不需要额外的数据，即可改善抽象摘要模型的性能。研究表明，采用这三种方法可以在两个摘要模型和两个不同的小数据集上改善抽象摘要。此外，当分别应用和组合使用这些技术时，它们都可以提高性能。
Sep, 2021
研究了神经抽象摘要的领域适应问题，发现预训练模型利用提取式摘要可以提高摘要质量，同时结合域内和域外数据可以获得更好的摘要效果，但对于目标领域的风格要求域内数据。
Jul, 2017
本文讨论大型语言模型在特定领域摘要文本生成中的局限性，特别指出了基于 Transformer 的模型复杂度与模型崩溃的问题，并探讨了解决现有研究中存在的问题的相关技术。
Jul, 2023
本论文提出了在数据集特定方式下通过对预训练模型进行微调以实现摘要生成的新型通用方法 - WikiTransfer，并使用循环全球翻译的数据扩增和正则化来提高性能，最终在 CNN-DailyMail 数据集上取得了最先进的性能
Oct, 2020
本文研究了文本摘要技术中的领域转移问题，提出了将领域的定义从类别扩展到数据源，并探讨了四种不同的学习策略以解决领域转移问题，在新测试中呈现出不同的性能特点。
Aug, 2019
本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。
Jun, 2019
本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。
Feb, 2023