本文提出了一种针对具有一个源域和多个目标域的无监督域适应场景(1SmT)的模型参数自适应转移的无监督域适应框架(PA-1SmT),该框架通过学习一个共同的模型参数词典进行知识转移,并在三个领域适应基准数据集上实验验证了其优越性。
Sep, 2018
本文提出了一种新的无监督多目标域自适应方法,通过多教师知识蒸馏来训练CNN,使其可以在多个目标领域上广义化。该方法通过逐步蒸馏目标域知识到一个共同的学生无直接学习域适应特征,同时保留每个目标(教师)的特异性以适应学生,通过在多项具有挑战性的UDA基准测试上的实证结果表明,我们提出的模型可以在多个目标域上提供较高水平的准确性。
Jul, 2020
本文提出了一种新的深度学习架构,通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题,在公共基准测试中表现优于现有的方法。
Mar, 2021
本文提出一种新的任务,称为无监督域扩展(UDE),在此任务中,我们扩展了无监督域自适应(UDA)方法,并引入知识蒸馏域扩展(KDDE)作为UDE任务的一般方法。我们的研究表明,KDDE比四个竞争基线更优秀,同时在源域和目标域上保持高性能。
Apr, 2021
本文提出了一种新颖的无监督领域自适应学习范式——通过提示学习的领域自适应(DAPL),通过嵌入域信息和利用预训练的视觉-语言模型进行分类,此方法在多个领域的基准测试数据上表现优异,并且训练效率高、易于实现。
Feb, 2022
本文提出一种基于知识引导的无监督领域自适应(KUDA)方法,通过利用目标域的先验知识,将该先验知识应用于模型生成伪标签的改进中,从而提高自训练阶段的性能。
Jul, 2022
深度学习在许多领域都展现出其超凡表现,但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现,无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题,并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果,该文对该领域的方法和应用进行了系统比较,并强调了当前方法的不足及未来研究方向。
Aug, 2022
无监督领域自适应在目标检测中发挥重要作用,该论文提出了一种新颖而有效的四步骤无监督领域自适应方法,利用自我监督学习同时训练源数据和目标数据,并在目标图像中识别具有最高置信度的检测区域作为伪标签,通过广泛实验,取得了领先竞争对手超过2% mAP的最先进性能。
Aug, 2023
本研究解决了视频动作识别中的无监督领域适应问题。我们的方法称为UNITE,利用图像教师模型将视频学生模型适应到目标域。UNITE首先使用自监督预训练来促进目标域视频的辨别性特征学习,使用教师引导的遮蔽蒸馏目标进行自训练。然后,我们使用视频学生模型和图像教师模型一起对目标数据进行遮蔽自训练,生成改进的伪标签来处理无标签目标视频。我们的自训练过程成功地利用了两个模型的优势,在不同领域之间实现了强大的迁移性能。我们在多个视频领域适应基准上评估了我们的方法,并观察到比以前报告的结果有显著提高。
Dec, 2023
本文解决了无监督领域适应 (UDA) 中的两个关键挑战,尤其是探索视觉-语言预训练 (VLP) 模型的潜力。提出了一种新方法——跨模态知识蒸馏 (CMKD),利用VLP模型作为教师模型来指导目标领域的学习,从而实现了业界领先的性能。此外,提出的残差稀疏训练 (RST) 技术通过最小调整VLP模型参数来降低存储开销与模型部署的复杂性,显著提高了效率。
Aug, 2024