本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

提出了一种新的学习方式：从头开始进行领域自适应，以便在隐私保护的情况下将 NLP 扩展到敏感领域。研究比较了几种方法，包括数据选择和领域自适应算法以及主动学习方法，在情感分析和命名实体识别等两个 NLP 任务上进行了验证，结果表明结合上述方法可以缓解领域差距并进一步提高结果。

Sep, 2022

本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

Apr, 2020

本文提出一种针对使用标准微调的神经迁移学习在特定于目标域的模式学习方面存在限制的问题的解决方案，即向预训练模型中引入归一化、加权和随机初始化的单元，以更好地适应目标域。实验证明，该方法在自然语言处理中的四项任务中表现出显著的改进。

Jun, 2021

本文提出了一种新颖的领域自适应方法 ——“混合微调”，用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合，并在一个混合了内外领域语料库的平行语料库上对 NMT 模型进行微调，然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法，讨论了它的优点和缺点。

Jan, 2017

本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

Sep, 2019

本文提出了一种简单的领域自适应方法，可以应用于使用交叉熵损失训练的神经网络，在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。

Jul, 2016

本研究探讨了针对预训练第三方 NMT 模型的单语和平行数据方法在领域适应中的效果，在低资源条件下提出了集成方法来缓解翻译质量的降低，并给出了在三个领域和四个语言对中的建议。

Jun, 2022

本文提出一种将多语言神经机器翻译模型域自适应的 Fine-tuning 方法，结合 Embeddings 冻结与对抗性损失，能在保持所有语言对的通用领域性能的同时，显著提高处理特定数据领域的性能。

Oct, 2022

本文介绍了一种使用逐步解冻技术进行时间序列预测的预训练模型、有限数据目标域的逐步微调和源域数据的 “一步微调” 方法，通过实验证明该方法在室内温度和风力预测方面相较于其他方法有着 4.35% 和 11.54% 的性能提升。

Jan, 2024