Jul, 2020

知识蒸馏实现的无监督多目标域自适应

PDF
TL;DR本文提出了一种新的无监督多目标域自适应方法，通过多教师知识蒸馏来训练 CNN，使其可以在多个目标领域上广义化。该方法通过逐步蒸馏目标域知识到一个共同的学生无直接学习域适应特征，同时保留每个目标（教师）的特异性以适应学生，通过在多项具有挑战性的 UDA 基准测试上的实证结果表明，我们提出的模型可以在多个目标域上提供较高水平的准确性。
发现论文，激发创造
  • KD3A: 通过知识蒸馏进行无监督多源去中心化域自适应

    KD3A 是一种隐私保护的多源领域自适应算法，它通过对来自不同源域的模型进行知识蒸馏来实现域适应，并采用多源知识投票、共识聚焦和 BatchNorm MMD 等方法解决了常规 UMDA 方法中存在的负迁移、安全通信和数据质量等问题，同时相对于其他分散式 UMDA 方法可降低 100 倍的通信成本，且表现也显著优于现有 UMDA 方法。

    Nov, 2020

  • 无精确共享类别的多目标无监督域适应

    本文提出了一种针对具有一个源域和多个目标域的无监督域适应场景 (1SmT) 的模型参数自适应转移的无监督域适应框架 (PA-1SmT)，该框架通过学习一个共同的模型参数词典进行知识转移，并在三个领域适应基准数据集上实验验证了其优越性。

    Sep, 2018

  • 语义分割的连续无监督域自适应的多头蒸馏

    本文提出了一种新颖的连续无监督域自适应框架，MuHDi，它使用多头蒸馏方法解决了持续学习任务中的灾难性遗忘问题，并进行了大量的消融与实验说明其在挑战性的多目标 UDA 语义分割基准上的有效性与鲁棒性。

    Apr, 2022

  • 联合渐进式知识蒸馏和无监督领域自适应

    本研究提出了一种新方法，通过域自适应和无监督知识蒸馏，联合优化卷积神经网络，实现压缩模型并适应于特定目标领域，结果表明该方法在实现较高准确度的同时，比现有的压缩和域自适应技术具有相当或更低的时间复杂度，在实际应用中有较好的应用前景。

    May, 2020

  • 基于黑盒源模型的分割无监督领域自适应

    本文提出了一种基于黑盒分割模型的无监督域自适应解决方案，利用指数混合衰减的知识蒸馏方案逐步学习目标特定表示，并应用无监督熵最小化来规范目标域置信度，最终在 BraTS 2018 数据库上取得了与白盒源模型适应方法相当的性能。

    Aug, 2022

  • 无监督深度域自适应中的潜在域推断

    本文提出了一种新的深度学习架构，通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题，在公共基准测试中表现优于现有的方法。

    Mar, 2021

  • 将视觉 - 语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

    无监督领域自适应 (UDA) 通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合 UDA 获得的知识与视觉 - 语言模型的内在知识。通过视觉 - 语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略 (GSDE) 相结合，结果表明零样本预测也有益处。我们在三个基准测试集 (OfficeHome、VisDA 和 DomainNet) 上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

    Dec, 2023

  • 无监督领域适应中的领域自适应扩散

    提出一种新颖的领域自适应扩散（DAD）模块和互学习策略（MLS），通过将源域数据逐渐转化为目标域数据并使分类模型在领域转换过程中学习，成功将领域适应的挑战分解为多个小领域间隙并逐步增强分类模型的能力，从而在三个广泛使用的无监督领域自适应数据集上大幅优于现有最先进方法。

    Aug, 2023

  • 语义分割中的多目标对抗框架跨域适应性

    本研究致力于解决面向多个目标域的无监督域自适应语义分割任务，提出了两种对抗性框架以实现多目标自适应，并在四个新的多目标基准测试中表现出色。

    Aug, 2021

  • 视觉分类的无监督域扩展

    本文提出一种新的任务，称为无监督域扩展（UDE），在此任务中，我们扩展了无监督域自适应（UDA）方法，并引入知识蒸馏域扩展（KDDE）作为 UDE 任务的一般方法。我们的研究表明，KDDE 比四个竞争基线更优秀，同时在源域和目标域上保持高性能。

    Apr, 2021