通过细调参数的方法，本文提出了基于适配器的若干参数高效的 Fine-Tuning 方法，以简化将单个专业知识和多个专业知识合并到现有的预训练语言模型（PLMs）中的方法。最近的研究（例如 AdapterSoup）提出了一种方法，通过模型权重平均化，在推理时只混合领域特定适配器的子集，以优化在未知领域上的性能并具有出色的计算效率。然而，这种在未知领域内示例中的权重空间适配器混合机制的普适性尚未得到探索。因此，在本研究中，我们进行了全面的分析以阐明领域特定适配器混合物在领域内评估中的普适性，并通过分析适配器的权重符号来探究领域特定适配器混合物的内在工作机制，从而得出它们之间的权重符号差异与混合物的普适性之间的负相关关系的关键分析。所有源代码将被发布。

Feb, 2024

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

Nov, 2022

本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

Jun, 2023

通过在大规模预训练语言模型中插入小的瓶颈层，我们提出了两种无监督领域自适应更加参数高效的方法，通过实验表明，我们的简单方法在自然语言推理和跨领域情感分类任务中性能良好。

Feb, 2023

本文研究了在机器翻译领域中适配器的组成方法，旨在实现多领域和多语言（全资源场景）的参数效率适配，或在无法提供特定语言对的平行数据（部分资源场景）中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成，但这篇论文发现了将两种适配器简单组合的方法往往会造成缺失语言的灾难性遗忘，因此提出了新的适配器组合方式以减轻这一问题，并最大程度地实现跨语言转移。通过此种最佳适配器组合方式，我们实现了在没有场内数据的源语言上平均提高 3-4BLEU，而在没有场内数据的目标语言上与反向翻译相结合也达到了类似的改进。

Oct, 2021

本文提出了一种名为 DAPA 的轻量级领域通用前缀平均方法，通过源域的前缀生成目标域摘要，并利用加权平均源前缀的相似性计算权重。实验结果表明，DAPA 具有较好的性能表现。

May, 2023

使用适配器实现参数高效的领域适应方法，通过仅训练少量额外参数而不更新整个句子嵌入模型的权重，以实现句子嵌入在特定领域的适应。结果表明，在仅训练约 3.6% 的参数的情况下，使用适配器进行句子嵌入的领域适应可以获得与完全调整的模型性能相似的结果。

Jul, 2023

提出了基于适配器的多域 Transformer 语言模型，在只有小型适配器及其相关层的情况下，该模型可以进行多域自适应，并可以重复使用全细调的语言模型，从而可有效减少模型维护成本。使用这种方法，观察到具有适配器的通用 LM 在词错误率方面优于专用音乐领域 LM。

Aug, 2020

在面对不断变化的领域转变时，将预训练语言模型（PLMs）用于时间序列文本分类是确保准确性的关键，本研究基于不断演化的领域自适应（EDA）策略，重点关注增量自我训练方法，并通过对各种数据集的分析发现，这种增量方法在将 PLMs 适应于变化领域中表现卓越，超过了传统的领域自适应技术，结果凸显了不断更新 PLMs 以确保其在实际应用中的有效性的重要性，并为未来研究 PLM 在语言的自然时间演变中的鲁棒性铺平了道路。

Nov, 2023