本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

本文提出了一种简单的领域自适应方法，可以应用于使用交叉熵损失训练的神经网络，在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。

Jul, 2016

本篇综述针对最近的研究进展，对不需要标记目标领域数据的神经无监督领域自适应技术进行了概述，包括从传统非神经方法到预训练模型迁移的方法，并揭示了自然语言处理任务类型中存在的偏见问题以及未来的研究方向，特别是面向 NLP 的超分布通用化需求。

May, 2020

本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

Sep, 2019

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

本文提出一种将多语言神经机器翻译模型域自适应的 Fine-tuning 方法，结合 Embeddings 冻结与对抗性损失，能在保持所有语言对的通用领域性能的同时，显著提高处理特定数据领域的性能。

Oct, 2022

本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

Apr, 2020

介绍了一种课程学习方法，将通用的神经机器翻译模型适应于特定领域，实验结果表明，在两个领域和两种语言对中，该方法始终优于基准模型。

May, 2019

通过多阶段逐步微调的方式，不需要改变模型或学习目标，可以显著提高自然语言处理模型在目标领域的适应能力。

Mar, 2021

本文提出了一种新的领域适应的表示学习方法，使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征，该方法增加了标准层和一个新的反向梯度层，可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。

May, 2015