本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

本论文旨在解决 NLU 模型在缺乏数据或知识资源时的挑战，提出了跨语言和跨域适应方法及面向低资源语言的关键词增强方法、序列颗粒化建模方法、多领域预训练方法和粗粒度到细粒度的表示学习框架。

Aug, 2022

本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

Apr, 2020

本文提出一种基于文本生成模型的协作域前缀调整方法，用于跨领域命名实体识别任务，实现知识在不同领域之间的迁移，提高模型对多源领域的处理能力。实验结果表明，该方法灵活、可靠，优于当前主流的同类方法。

Jan, 2023

使用多任务学习方法，缩短新任务学习所需的数据量，以提高自然语言理解中的 slot 填充模型适配多目标任务或领域的效率。该多任务模型可以利用在其他任务中学习到的模式，以较少的数据获得更好的性能，并支持开放词汇，可以很好地应用于微小数据量的训练。实验结果显示了该方法在四个不同领域中的适配效果和开放词汇技术的有效应用。

Apr, 2016

本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

Nov, 2022

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

Jul, 2022

提出了一种新的学习方式：从头开始进行领域自适应，以便在隐私保护的情况下将 NLP 扩展到敏感领域。研究比较了几种方法，包括数据选择和领域自适应算法以及主动学习方法，在情感分析和命名实体识别等两个 NLP 任务上进行了验证，结果表明结合上述方法可以缓解领域差距并进一步提高结果。

Sep, 2022

本研究提出一种用于视觉领域适应的 CNN 架构，利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息，其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。

Oct, 2015