研究了神经抽象摘要的领域适应问题，发现预训练模型利用提取式摘要可以提高摘要质量，同时结合域内和域外数据可以获得更好的摘要效果，但对于目标领域的风格要求域内数据。
Jul, 2017
本文研究了文本摘要技术中的领域转移问题，提出了将领域的定义从类别扩展到数据源，并探讨了四种不同的学习策略以解决领域转移问题，在新测试中呈现出不同的性能特点。
Aug, 2019
本研究探讨了在低资源环境下，针对六个不同领域的抽象摘要任务中，利用大规模生成模型进行领域自适应预训练的有效性。实验表明，预训练的有效性与预训练数据与目标任务的相似度相关，同时发现预训练会导致预训练模型的灾难性遗忘，但使用一种遗忘较少的学习方法可以缓解这个问题。此外，结果表明低资源和高资源的差距仍然很大，需要更先进的领域自适应方法来解决抽象摘要任务中的问题。
Mar, 2021
通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。
Sep, 2021
探讨了语言模型适应与机器学习理论的关系，研究了大型领域外训练集和小型领域内训练集之间的训练方法的优劣，提出了领域外预训练加上领域内微调比单独应用更为通用，并提出了基于数据选择的适应技术的公共框架。
本文分析生成模型的训练动态，特别是聚焦于总结的方面，并研究了不同阶段的训练过程中模型学到的东西，通过简单的训练修正可以实现不同目标，比如提高事实性和提高抽象程度。
Oct, 2021
本文对使用fine-tuning和adapters在不同复杂性的摘要任务中进行了多方面的研究，并且研究发现fine-tuning通常比使用adapters获得更好的性能，而adapters在极低资源条件下超越fine-tuning。
Aug, 2022
本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了PLMs的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。
Nov, 2022
通过使用MoeSumm，一种混合专家摘要架构，该模型能够展现灵活性和适应性，同时保持参数效率，并在实验结果中显示了其与最新基准和大型语言模型相比的优势。
Jun, 2024
使用大型语言模型（LLM）进行抽象概括任务虽然取得了进展，但缺乏评估其在不同领域中适应能力的研究。我们评估了多种LLM模型在不同领域下的领域适应能力，包括精调和上下文学习设置。我们还提出了AdaptEval，即首个领域适应评估套件。AdaptEval包括领域基准和一组指标，以便分析领域适应。我们的结果表明，LLM在上下文学习设置中表现出可比较的性能，并不受其参数规模的影响。
Jul, 2024