本研究探讨了在低资源环境下，针对六个不同领域的抽象摘要任务中，利用大规模生成模型进行领域自适应预训练的有效性。实验表明，预训练的有效性与预训练数据与目标任务的相似度相关，同时发现预训练会导致预训练模型的灾难性遗忘，但使用一种遗忘较少的学习方法可以缓解这个问题。此外，结果表明低资源和高资源的差距仍然很大，需要更先进的领域自适应方法来解决抽象摘要任务中的问题。

Mar, 2021

该论文通过域转移和数据综合的方法，研究了当应用于学生反思材料等小型文集时，如何提高最近的抽象摘要方法的性能，得到了更高的 ROUGE 分数。

Feb, 2020

研究了在小规模训练语料的情况下，使用多任务学习进行抽象摘要的效果。通过将四项不同任务（抽取式摘要、语言建模、概念检测和释义检测）单独和结合使用，得出训练多任务模型比训练仅用于抽象摘要的模型效果更好的结论。在全面搜索中，发现某些任务（如释义检测）不仅可以与其他任务结合使用，而且可以使用不同的架构和训练语料，始终对抽象摘要有益。

Sep, 2021

利用自注意力变换器模型（mBERT, mT5）以及构建新的基准数据集（76.5k 的文章摘要对），在资源有限的语言乌尔都语中，提出了一个自适应低资源摘要方法，能够有效地捕捉低资源语言的上下文信息并取得与英文高资源语言中最先进模型相媲美的评估结果。

Oct, 2023

本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。

Jun, 2019

本文讨论大型语言模型在特定领域摘要文本生成中的局限性，特别指出了基于 Transformer 的模型复杂度与模型崩溃的问题，并探讨了解决现有研究中存在的问题的相关技术。

Jul, 2023

本文提出了一种多源预训练范式以更好地利用外部摘要数据，通过有限的训练数据实现对话摘要的有竞争力的性能和不同对话场景中的泛化能力。

Sep, 2021

本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

Mar, 2021

研究了神经抽象摘要的领域适应问题，发现预训练模型利用提取式摘要可以提高摘要质量，同时结合域内和域外数据可以获得更好的摘要效果，但对于目标领域的风格要求域内数据。

Jul, 2017