FEUDA: 极其简便的基于提示的无监督领域自适应
本文提出了一种新颖的无监督领域自适应学习范式 —— 通过提示学习的领域自适应 (DAPL)，通过嵌入域信息和利用预训练的视觉 - 语言模型进行分类，此方法在多个领域的基准测试数据上表现优异，并且训练效率高、易于实现。
Feb, 2022
在本文中，我们首先实验性地证明了无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异，从而改善无监督域自适应的性能。然而，直接在下游无监督域自适应任务中部署这些模型的一个重要挑战是及时的工程技术，需要对源域和目标域的领域知识进行对齐，因为无监督域自适应的性能受到良好的领域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐方法（PDA），将领域知识融入到提示学习中。具体而言，PDA 采用了两支分支的提示调试范例，即基础分支和对齐分支。基础分支专注于将与类相关的表示集成到提示中，确保在不同类别之间进行区分。为了进一步减小领域差异，我们为源域和目标域构建特征库，并提出了图像引导特征调试（IFT）来使输入关注特征库，从而有效地将自我增强和跨域特征集成到模型中。通过这种方式，这两个分支可以相互促进，增强 VLM 在无监督域自适应中的适应性。我们在三个基准测试上进行了大量实验，证明了我们提出的 PDA 方法达到了最先进的性能。
Dec, 2023
在无监督领域自适应中，通过基于提示学习的方法，使用大规模预训练的视觉 - 语言模型来学习领域不变和领域特定的特征，并将领域无关的约束转化为优化问题，通过梯度对齐和梯度范数惩罚来实现不同领域的一致性，从而在单源和多源无监督领域自适应任务中取得了优异的实验结果。
Jun, 2024
利用大规模预训练视觉 - 语言模型的知识进行领域不可知的相互提示，通过互相对齐视觉和文本嵌入来利用领域不变的语义，并通过语义一致性损失和实例差异对齐损失进行规则化，实验证明 Domain-Agnostic Mutual Prompting（DAMP）相较于现有方法在三个无监督领域自适应基准上具有优势。
Mar, 2024
本研究针对数据保护、存储和传输等实际场景中普遍存在的源数据访问限制，提供了一篇系统综述文章，介绍了最近提出的无源自适应方法，着重对白盒和黑盒方法进行分类，并详细讨论了各类方法中的挑战以及适用于无源数据的模型在提高泛化能力方面的流行技术和常用基准数据集。
Dec, 2022
本文提出了一种新的深度学习架构，通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题，在公共基准测试中表现优于现有的方法。
Mar, 2021
本文中，我们探索了使用预训练的语言模型进行下游任务的无监督领域适应（UDA）。我们提出了 UDALM，一种微调过程，使用混合分类和蒙面语言模型损失，可以以强健和样本高效的方式适应目标域分布。我们的实验表明，使用混合损失训练的模型的性能与可用目标数据的数量成比例，并且可以有效地用作 UDA 训练中的停止准则。此外，我们还讨论了 A 距离和目标误差之间的关系，并探索了域对抗训练方法的一些局限性。我们的方法在 Amazon 评论情感数据集的 12 个领域对上进行评估，得到了 91.74％的准确率，比最先进技术提高了 1.11％的绝对值。
Apr, 2021
本文提出了一种基于伪领域生成的领域增强领域自适应方法（DADA），通过生成与目标域差异更小的伪领域，减小跨域偏差，进而增强知识转移过程并将标签方法应用于 DADA 模型中，结果表明该模型优秀。
Feb, 2022
本文提出了一种基于 Monte-Carlo dropout 的不确定性滤波和特征对齐方法（UFAL），该方法包括 Uncertain Feature Loss（UFL）函数和 Uncertainty-Based Filtering（UBF）方法，能够有效解决无监督域自适应问题，达到了多个数据集上最先进的结果。
Sep, 2020