通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

Sep, 2021

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2和C4中最多的100个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

本文介绍了Adaptor库，将传统的预训练+微调方法转化为面向目标的方法，并调查了多任务训练、自定义目标开发、动态训练课程或领域适应等方面可以从增强目标中心实验中受益的研究方向，Adaptor旨在实现这些研究方向的易复现性。最后，我们展示了Adaptor在选定的无监督领域适应场景中的实际适用性。

Mar, 2022

本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了PLMs的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

Nov, 2022

本文介绍了$k$NN-Adapter方法，该方法是基于检索增强语言模型，通过将语言模型的输出和目标域数据存储中的检索结果进行自适应加权插值，有效地适应黑盒大型语言模型到新的领域。实验结果表明，$k$NN-Adapter方法显著提高了语言模型的困惑度，在训练数据有限的情况下比微调更有效。

Feb, 2023

本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

Jun, 2023

使用适配器实现参数高效的领域适应方法，通过仅训练少量额外参数而不更新整个句子嵌入模型的权重，以实现句子嵌入在特定领域的适应。结果表明，在仅训练约3.6%的参数的情况下，使用适配器进行句子嵌入的领域适应可以获得与完全调整的模型性能相似的结果。

Jul, 2023

Adapters是一个开源库，将参数高效和模块化的迁移学习统一起来，通过整合10种不同的适配器方法，提供简便的使用和灵活的配置；该库通过组合模块允许研究人员和从业者利用适配器的模块化设计复杂的适配器设置；通过在各种自然语言处理任务上评估其性能，我们展示了该库的有效性；Adapters为解决传统微调范式的挑战和促进更高效和模块化的迁移学习提供了一个强大的工具；该库可通过此链接获取。

Nov, 2023

通过细调参数的方法，本文提出了基于适配器的若干参数高效的Fine-Tuning方法，以简化将单个专业知识和多个专业知识合并到现有的预训练语言模型（PLMs）中的方法。最近的研究（例如AdapterSoup）提出了一种方法，通过模型权重平均化，在推理时只混合领域特定适配器的子集，以优化在未知领域上的性能并具有出色的计算效率。然而，这种在未知领域内示例中的权重空间适配器混合机制的普适性尚未得到探索。因此，在本研究中，我们进行了全面的分析以阐明领域特定适配器混合物在领域内评估中的普适性，并通过分析适配器的权重符号来探究领域特定适配器混合物的内在工作机制，从而得出它们之间的权重符号差异与混合物的普适性之间的负相关关系的关键分析。所有源代码将被发布。

Feb, 2024

使用大型语言模型（LLM）进行抽象概括任务虽然取得了进展，但缺乏评估其在不同领域中适应能力的研究。我们评估了多种LLM模型在不同领域下的领域适应能力，包括精调和上下文学习设置。我们还提出了AdaptEval，即首个领域适应评估套件。AdaptEval包括领域基准和一组指标，以便分析领域适应。我们的结果表明，LLM在上下文学习设置中表现出可比较的性能，并不受其参数规模的影响。

Jul, 2024