本文提出了一种基于掩码语言模型，在目标领域中调整上下文嵌入的方法，从而实现了序列标注的无人监督适应，获得了重要的改进，特别是在词汇表外的单词上。

Apr, 2019

提出一种通过使用语言建模来学习领域感知特征嵌入，在多个实验中提高神经机器翻译性能的方法，该方法允许使用者指定特定领域的文本表示。

Aug, 2019

本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了 UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作 UDA 训练中的停止准则。此外，我们还讨论了 A 距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在 Amazon 评论情感数据集的 12 个领域对上进行评估，得到了 91.74％的准确率，比最先进技术提高了 1.11％的绝对值。

Apr, 2021

本文研究无监督领域自适应，提出了一种将源域和目标域之间的表示进行对齐的方法，从而使目标域数据的分类准确性更高。该方法利用自监督任务对两个域进行训练并成功地泛化到目标域。在实验中，我们获得了四个标准基准测试中的最先进结果，并在分割适应性方面取得了有竞争力的结果。

Sep, 2019

采用对抗训练来学习嵌入的子空间，同时最大化两个域之间的混淆并在语义上对齐它们，解决了少量有标签目标数据样本的深度模型的有监督域自适应问题。

Nov, 2017

本文提出了一种新的领域适应预训练方法，通过软遮罩注意力头并对一般和完全表示进行对比学习，以更智能的方式对 LM 中的知识进行适应，实验结果表明了该方法的有效性。

Jan, 2023

本文综述了最新的单源深度无监督域适应方法，主要集中在视觉任务中，并讨论了未来研究的新视角。首先介绍了不同领域适应策略的定义和现有基准数据集的描述，然后总结和比较了不同类别的单源无监督域适应方法，包括基于差异性的方法，对抗式鉴别方法，对抗式生成方法和自监督方法，并探讨了未来的研究方向、挑战和可能的解决方案。

Sep, 2020

利用对抗性学习进行无监督适应性，采用神经网络和未分类的适应性数据解决了远程语音识别问题，相对于没有适应的模型，相对词错误率下降了 19.8%。

Jul, 2018

本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

Apr, 2020

本文针对神经机器翻译中的无监督领域自适应问题，提出一种跨语料库数据选择方法，通过对多语言 BERT 进行对比学习，实现源语言和目标语言之间的表示对齐，从而实现零样本领域分类器的可转移性，并且通过联合学习翻译任务和领域区分任务来适应新领域。我们在五个不同的领域和三种语言对的神经机器翻译上进行了跨语料库数据选择方法的评估，并在 COVID-19 疫情实时翻译中进行了应用验证， 实验结果表明，我们提出的方法相对于基线方法的 BLEU 指标得分提高了 1.5 个百分点。

Sep, 2021