基于提示学习的领域适应
在本文中，我们首先实验性地证明了无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异，从而改善无监督域自适应的性能。然而，直接在下游无监督域自适应任务中部署这些模型的一个重要挑战是及时的工程技术，需要对源域和目标域的领域知识进行对齐，因为无监督域自适应的性能受到良好的领域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐方法（PDA），将领域知识融入到提示学习中。具体而言，PDA 采用了两支分支的提示调试范例，即基础分支和对齐分支。基础分支专注于将与类相关的表示集成到提示中，确保在不同类别之间进行区分。为了进一步减小领域差异，我们为源域和目标域构建特征库，并提出了图像引导特征调试（IFT）来使输入关注特征库，从而有效地将自我增强和跨域特征集成到模型中。通过这种方式，这两个分支可以相互促进，增强 VLM 在无监督域自适应中的适应性。我们在三个基准测试上进行了大量实验，证明了我们提出的 PDA 方法达到了最先进的性能。
Dec, 2023
在无监督领域自适应中，通过基于提示学习的方法，使用大规模预训练的视觉 - 语言模型来学习领域不变和领域特定的特征，并将领域无关的约束转化为优化问题，通过梯度对齐和梯度范数惩罚来实现不同领域的一致性，从而在单源和多源无监督领域自适应任务中取得了优异的实验结果。
Jun, 2024
利用大规模预训练视觉 - 语言模型的知识进行领域不可知的相互提示，通过互相对齐视觉和文本嵌入来利用领域不变的语义，并通过语义一致性损失和实例差异对齐损失进行规则化，实验证明 Domain-Agnostic Mutual Prompting（DAMP）相较于现有方法在三个无监督领域自适应基准上具有优势。
Mar, 2024
本研究通过在源域和目标域约束特征，提出一种简单高效的无监督域自适应方法，即使用无领域先验 (DAP) 正则化交叉域表示学习，这种方法在将综合数据转移到真实数据的标准评估协议中，表现出优秀的语义分割准确性，对于提高模型的分类表现具有指导意义。
Apr, 2022
本文提出了一种新的深度学习架构，通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题，在公共基准测试中表现优于现有的方法。
Mar, 2021
通过在无标签数据上进行句子掩码模型训练（MLM）和源标记数据上进行监督指导训练，采用自监督学习和提示模型术语分类方法，我们提出了一种叫做困难易化领域适应（FEUDA）的方法，通过训练一个自回归语言模型，从源和目标领域的标签和无标签示例中，来学习领域不变表征，以提高目标领域的分类性能。
Jan, 2024
本文提出了一种基于伪领域生成的领域增强领域自适应方法（DADA），通过生成与目标域差异更小的伪领域，减小跨域偏差，进而增强知识转移过程并将标签方法应用于 DADA 模型中，结果表明该模型优秀。
Feb, 2022
深度学习在许多领域都展现出其超凡表现，但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现，无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题，并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果，该文对该领域的方法和应用进行了系统比较，并强调了当前方法的不足及未来研究方向。
Aug, 2022
该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估， 这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。
Jun, 2021