本研究中，我们探究了将预训练语言模型（PrLMs）特征适应新域的方法，而非像以往一样对其进行精细调整。我们提出了面向无监督域适应(UDA)的类感知特征自蒸馏（CFd）算法，能够有效地提高跨领域和跨语言设置下的模型稳健性。

Sep, 2020

我们提出了一个基于自动回归Prompt学习算法的PADA，用于实时任何领域自适应，其中生成的唯一提示作为源域特征的连续令牌序列，PADA 在多个任务中显着优于强基准。

Feb, 2021

本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作UDA训练中的停止准则。此外，我们还讨论了A距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在Amazon评论情感数据集的12个领域对上进行评估，得到了91.74％的准确率，比最先进技术提高了1.11％的绝对值。

Apr, 2021

本文提出了一种新颖的无监督领域自适应学习范式——通过提示学习的领域自适应(DAPL)，通过嵌入域信息和利用预训练的视觉-语言模型进行分类，此方法在多个领域的基准测试数据上表现优异，并且训练效率高、易于实现。

Feb, 2022

通过在大规模预训练语言模型中插入小的瓶颈层，我们提出了两种无监督领域自适应更加参数高效的方法，通过实验表明，我们的简单方法在自然语言推理和跨领域情感分类任务中性能良好。

Feb, 2023

本文提出了一种称为Transfer Score的度量标准，它通过评估分类器的空间均匀性、特征空间的传递性和区分度，实现了无监督评估域自适应模型的功能，并在公共数据集上进行了广泛的实证研究，证明了Transfer Score度量标准在评估和提高自适应技术整体效果方面的工具性和潜力。

May, 2023

通过可学习的数据增强技术，本文提出了一种分类框架来解决一次性无监督领域自适应问题。通过设计具有感知损失和风格转换策略的编码器-解码器架构，我们的方法可以学习如何增强源数据，并使其在知觉上类似于目标。该方法在DomainNet和VisDA这两个领域自适应基准数据集上取得了最先进的性能。

Oct, 2023

通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。

Nov, 2023

在本文中，我们首先实验性地证明了无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异，从而改善无监督域自适应的性能。然而，直接在下游无监督域自适应任务中部署这些模型的一个重要挑战是及时的工程技术，需要对源域和目标域的领域知识进行对齐，因为无监督域自适应的性能受到良好的领域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐方法（PDA），将领域知识融入到提示学习中。具体而言，PDA采用了两支分支的提示调试范例，即基础分支和对齐分支。基础分支专注于将与类相关的表示集成到提示中，确保在不同类别之间进行区分。为了进一步减小领域差异，我们为源域和目标域构建特征库，并提出了图像引导特征调试（IFT）来使输入关注特征库，从而有效地将自我增强和跨域特征集成到模型中。通过这种方式，这两个分支可以相互促进，增强VLM在无监督域自适应中的适应性。我们在三个基准测试上进行了大量实验，证明了我们提出的PDA方法达到了最先进的性能。

Dec, 2023

在无监督领域自适应中，通过基于提示学习的方法，使用大规模预训练的视觉-语言模型来学习领域不变和领域特定的特征，并将领域无关的约束转化为优化问题，通过梯度对齐和梯度范数惩罚来实现不同领域的一致性，从而在单源和多源无监督领域自适应任务中取得了优异的实验结果。

Jun, 2024