使用强大的自学方法适应不同语言和领域的预训练语言模型特征
通过在无标签数据上进行句子掩码模型训练（MLM）和源标记数据上进行监督指导训练，采用自监督学习和提示模型术语分类方法，我们提出了一种叫做困难易化领域适应（FEUDA）的方法，通过训练一个自回归语言模型，从源和目标领域的标签和无标签示例中，来学习领域不变表征，以提高目标领域的分类性能。
Jan, 2024
本文提出了一种用于自动提取领域特定特征和领域不变特征的无监督特征分解方法，并利用互信息估计将交叉语言表示计算所述的跨领域和跨语言（CLCD）设置分解为领域不变和领域特定部分，实验结果表明，我们提出的方法在 CLCD 设置中取得了显著的性能提升。
Nov, 2020
通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。
Nov, 2023
本文提出了一种源自由的无监督领域自适应方法，使用预先训练的源模型和未标记的目标图像，通过数据增强和一致性目标来捕捉不确定性，并且鼓励特征生成器在决策边界外学习一致的视觉特征，以增强模型对图像扰动的鲁棒性，并且利用超空间对齐和内空间一致性来减少源域和目标域之间的领域差距，实验结果表明，该方法对于图像扰动具有更强的鲁棒性。
Aug, 2022
本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了 UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作 UDA 训练中的停止准则。此外，我们还讨论了 A 距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在 Amazon 评论情感数据集的 12 个领域对上进行评估，得到了 91.74％的准确率，比最先进技术提高了 1.11％的绝对值。
Apr, 2021
本文提出了一种系统的无监督领域自适应框架，利用自监督方法在预训练和微调范式中充分利用无标签数据，在解决提高自监督方法在异领域性能的同时，通过提出三种创新性的调整方法，有效地提高了自适应领域的性能。
Jun, 2022
该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估， 这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。
Jun, 2021
基于深度学习的解决方案如何在面对与训练数据不同特征的情况下，语义分割会有性能下降的问题，针对此问题提出了一种无监督领域适应的方法，利用辅助伪标签优化网络进行自训练，实验结果表明这种方法在基准数据集上的表现显著优于之前的最先进方法.
Oct, 2023
本文提出了一种新颖的无监督领域自适应学习范式 —— 通过提示学习的领域自适应 (DAPL)，通过嵌入域信息和利用预训练的视觉 - 语言模型进行分类，此方法在多个领域的基准测试数据上表现优异，并且训练效率高、易于实现。
Feb, 2022
本文提出了一种基于对比学习和自我训练的方法，该方法可以很好地应用于不同领域的实例进行语义分割，可以将语义类别在跨域上进行对齐，从而达到更好的结果。
May, 2021