本研究提出了一种新方法，通过域自适应和无监督知识蒸馏，联合优化卷积神经网络，实现压缩模型并适应于特定目标领域，结果表明该方法在实现较高准确度的同时，比现有的压缩和域自适应技术具有相当或更低的时间复杂度，在实际应用中有较好的应用前景。

May, 2020

本文提出了一种新的无监督多目标域自适应方法，通过多教师知识蒸馏来训练CNN，使其可以在多个目标领域上广义化。该方法通过逐步蒸馏目标域知识到一个共同的学生无直接学习域适应特征，同时保留每个目标（教师）的特异性以适应学生，通过在多项具有挑战性的UDA基准测试上的实证结果表明，我们提出的模型可以在多个目标域上提供较高水平的准确性。

Jul, 2020

本文综述了最新的单源深度无监督域适应方法，主要集中在视觉任务中，并讨论了未来研究的新视角。首先介绍了不同领域适应策略的定义和现有基准数据集的描述，然后总结和比较了不同类别的单源无监督域适应方法，包括基于差异性的方法，对抗式鉴别方法，对抗式生成方法和自监督方法，并探讨了未来的研究方向、挑战和可能的解决方案。

Sep, 2020

本文提出一种新的任务，称为无监督域扩展（UDE），在此任务中，我们扩展了无监督域自适应（UDA）方法，并引入知识蒸馏域扩展（KDDE）作为UDE任务的一般方法。我们的研究表明，KDDE比四个竞争基线更优秀，同时在源域和目标域上保持高性能。

Apr, 2021

本文提出一种基于知识引导的无监督领域自适应（KUDA）方法，通过利用目标域的先验知识，将该先验知识应用于模型生成伪标签的改进中，从而提高自训练阶段的性能。

Jul, 2022

深度学习在许多领域都展现出其超凡表现，但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现，无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题，并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果，该文对该领域的方法和应用进行了系统比较，并强调了当前方法的不足及未来研究方向。

Aug, 2022

无监督领域自适应(UDA)通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合UDA获得的知识与视觉-语言模型的内在知识。通过视觉-语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略(GSDE)相结合，结果表明零样本预测也有益处。我们在三个基准测试集(OfficeHome、VisDA和DomainNet)上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

Dec, 2023

在本文中，我们首先实验性地证明了无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异，从而改善无监督域自适应的性能。然而，直接在下游无监督域自适应任务中部署这些模型的一个重要挑战是及时的工程技术，需要对源域和目标域的领域知识进行对齐，因为无监督域自适应的性能受到良好的领域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐方法（PDA），将领域知识融入到提示学习中。具体而言，PDA采用了两支分支的提示调试范例，即基础分支和对齐分支。基础分支专注于将与类相关的表示集成到提示中，确保在不同类别之间进行区分。为了进一步减小领域差异，我们为源域和目标域构建特征库，并提出了图像引导特征调试（IFT）来使输入关注特征库，从而有效地将自我增强和跨域特征集成到模型中。通过这种方式，这两个分支可以相互促进，增强VLM在无监督域自适应中的适应性。我们在三个基准测试上进行了大量实验，证明了我们提出的PDA方法达到了最先进的性能。

Dec, 2023

在无监督领域自适应中，通过基于提示学习的方法，使用大规模预训练的视觉-语言模型来学习领域不变和领域特定的特征，并将领域无关的约束转化为优化问题，通过梯度对齐和梯度范数惩罚来实现不同领域的一致性，从而在单源和多源无监督领域自适应任务中取得了优异的实验结果。

Jun, 2024

通过直接利用CLIP进行领域间差异度量，提出了一种新颖的以语言为导向的无监督域自适应方法CLIP-Div，通过收集到的领域不可知分布度量领域差异并使用语言引导校准目标伪标签，从而有效减小领域差距并提高模型的泛化能力，实验证明此方法在Office-Home、Office-31、VisDA-2017和DomainNet数据集上均表现优于基于CNN的现有方法。

Jul, 2024