本文针对现代深度学习神经网络模型需要大量手动标注数据以及从大量文本数据中构建领域特定知识图谱的困难问题，提出一个将知识图谱自适应和重新学习应用于不需要手动注释训练数据的领域适应性构建的综合框架，并引入了一种新的迭代训练策略来促进领域特定命名实体和三元组的发现和抽取，实验结果表明，该框架可以有效执行领域适应和构建知识图谱的任务。

Nov, 2022

利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

Oct, 2020

本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

Jun, 2021

利用大规模预训练视觉 - 语言模型的知识进行领域不可知的相互提示，通过互相对齐视觉和文本嵌入来利用领域不变的语义，并通过语义一致性损失和实例差异对齐损失进行规则化，实验证明 Domain-Agnostic Mutual Prompting（DAMP）相较于现有方法在三个无监督领域自适应基准上具有优势。

Mar, 2024

提出了一种适用于多种不同模态的深度神经网络的单一领域通用性（single-DG）算法，称之为 Modality-Agnostic Debiasing (MAD)，它采用一个新颖的双分支分类器，一支专注于识别特定领域的表层特征，另一个则利用来自前一支的知识来捕获领域通用（语义）特征，在多种领域通用任务中取得了极高的效果。

Mar, 2023

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

本文提出了领域无关学习（DAL）任务，旨在解决如何将来自标记源域的知识转移到任意目标域的未标记数据的问题。通过开发一种能够从类别标识中分离出特定于领域的特征的新型深度对抗去耦自编码器（DADA），我们实验性地证明在未知目标域标签的情况下，DADA 在多个图像分类数据集上实现了最先进的性能。

Apr, 2019

该论文提出一种基于交叉领域数据增强的 BERT 知识蒸馏方法，借助资源丰富的源域来自动优化增强策略和提高学生模型性能，实验证明该方法优于现有方法，且在数据稀缺领域中，即使只有少量标记样本，压缩后的学生模型性能也能优于原始的大型教师模型。

Jan, 2021

该论文提出了一种称为结构化知识领域自适应（DASK）的新方法，通过利用单词级语义关系来增强域自适应，为跨域情感分类提供了 3% 的提升。

Jun, 2022

提出了一种名为 TACIT 的目标域不可知特征分解框架，通过变分自动编码器自适应解耦强韧特征和非强韧特征，并设计了一项特征蒸馏任务来促使非强韧特征逼近教师模型输出，实验证明仅利用源领域数据时，我们的框架实现了与最先进基线方法相当的结果。

Dec, 2023