Jul, 2020

知识蒸馏实现的无监督多目标域自适应

HTML
PDF
TL;DR本文提出了一种新的无监督多目标域自适应方法，通过多教师知识蒸馏来训练CNN，使其可以在多个目标领域上广义化。该方法通过逐步蒸馏目标域知识到一个共同的学生无直接学习域适应特征，同时保留每个目标（教师）的特异性以适应学生，通过在多项具有挑战性的UDA基准测试上的实证结果表明，我们提出的模型可以在多个目标域上提供较高水平的准确性。
发现论文，激发创造
  • 无精确共享类别的多目标无监督域适应

    本文提出了一种针对具有一个源域和多个目标域的无监督域适应场景(1SmT)的模型参数自适应转移的无监督域适应框架(PA-1SmT)，该框架通过学习一个共同的模型参数词典进行知识转移，并在三个领域适应基准数据集上实验验证了其优越性。

    Sep, 2018

  • 无监督多目标域自适应: 信息论方法

    本研究提出了一种信息理论方法来处理具有多个相似目标领域的无监督域适应问题，通过寻找一个共同的潜在空间，同时利用信息理论方法实现共享和私有信息的分离，并利用高效的优化算法完成从单一源到多个目标领域的自适应过程。

    Oct, 2018

  • 联合渐进式知识蒸馏和无监督领域自适应

    本研究提出了一种新方法，通过域自适应和无监督知识蒸馏，联合优化卷积神经网络，实现压缩模型并适应于特定目标领域，结果表明该方法在实现较高准确度的同时，比现有的压缩和域自适应技术具有相当或更低的时间复杂度，在实际应用中有较好的应用前景。

    May, 2020

  • 无监督深度域自适应中的潜在域推断

    本文提出了一种新的深度学习架构，通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题，在公共基准测试中表现优于现有的方法。

    Mar, 2021

  • 视觉分类的无监督域扩展

    本文提出一种新的任务，称为无监督域扩展（UDE），在此任务中，我们扩展了无监督域自适应（UDA）方法，并引入知识蒸馏域扩展（KDDE）作为UDE任务的一般方法。我们的研究表明，KDDE比四个竞争基线更优秀，同时在源域和目标域上保持高性能。

    Apr, 2021

  • 语义分割中的多目标对抗框架跨域适应性

    本研究致力于解决面向多个目标域的无监督域自适应语义分割任务，提出了两种对抗性框架以实现多目标自适应，并在四个新的多目标基准测试中表现出色。

    Aug, 2021

  • 深度无监督域自适应：近期进展和展望综述

    深度学习在许多领域都展现出其超凡表现，但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现，无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题，并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果，该文对该领域的方法和应用进行了系统比较，并强调了当前方法的不足及未来研究方向。

    Aug, 2022

  • 非监督领域适应中融合预训练数据的重要性

    以无监督域适应和无源自适应方法为研究对象，通过研究ImageNet与源域及目标域之间的相关性及ImageNet对目标风险的影响，发现现有方法存在的关键限制，并提出了一种新的框架TriDA，通过保留预训练数据集（即ImageNet）的语义结构来提升适应性能。实验证明，TriDA在各种无监督域适应和无源自适应评估中取得了最先进的性能。

    Aug, 2023

  • 利用视觉-语言预训练的无监督领域适应

    本文解决了无监督领域适应 (UDA) 中的两个关键挑战，尤其是探索视觉-语言预训练 (VLP) 模型的潜力。提出了一种新方法——跨模态知识蒸馏 (CMKD)，利用VLP模型作为教师模型来指导目标领域的学习，从而实现了业界领先的性能。此外，提出的残差稀疏训练 (RST) 技术通过最小调整VLP模型参数来降低存储开销与模型部署的复杂性，显著提高了效率。

    Aug, 2024

  • CLDA：增强无监督领域适应的协作学习

    该研究解决了传统无监督领域适应模型在领域转移下导致的教师模型非显著参数增多的问题，进而影响模型的泛化能力。提出的协作学习方法通过学生模型更新教师模型的非显著参数，从而提升学生模型的表现和教师模型的性能。实验证明，CLDA在语义分割等任务中显著提升了模型效果，体现了其在资源受限环境下的潜在影响。

    Sep, 2024