AAAINov, 2019

多源蒸馏领域自适应

PDF
TL;DR该论文提出了一种新的多源蒸馏领域自适应（MDDA）网络，该网络考虑了多个源和目标之间的不同距离以及源样本与目标样本的不同相似性，通过预先训练源分类器、将目标映射到每个源的特征空间、选择最近的源样本进行微调和使用不同的域权重对不同预测进行聚合等四个阶段实现。实验表明，该方法明显优于现有的方法。
domain adaptationmulti-sourcedeep neural networkswasserstein distancesource classifiers
发现论文，激发创造
  • 更多就是更好：多源深度域适应

    在深度学习时代，由于很难获得大规模标记数据来训练先进的深度神经网络，因此将已学习的知识从有标签的源领域转移到无标签或稀疏标签的目标领域成为一种吸引人的替代方法，而多源领域适应则是在收集有不同分布的多个源的标记数据中的一个强大而实用的扩展。在本次调查中，我们首先定义了各种多源领域适应策略。接着，我们从不同的角度系统地总结和比较了现代多源领域适应方法，以及常用的数据集和一个简单的基准测试结果。最后，我们讨论了值得探索的多源领域适应的未来研究方向。

    May, 2024

  • 深度学习时代的多源域适应：系统综述

    本文介绍了多源域适应的概念和相关技术方法，探讨了其在深度学习时代的发展趋势和研究方向，为该领域的研究提供借鉴和参考。

    Feb, 2020

  • 多源领域自适应遇上数据集蒸馏通过数据集字典学习

    该论文探讨了机器学习中两个问题的交集：多源领域适应 (MSDA) 和数据集精炼 (DD)。通过采用之前 MSDA 领域的作品以及 DD 方法的分布匹配，在四个基准测试中进行了深入的实验，表明即使每类仅有 1 个样本，也能够获得最先进的适应性能。

    Sep, 2023

  • 基于伪目标域的多源无监督域自适应

    提出了一种新的多源域自适应方法 Pseudo Target for MDA (PTMDA)，采用敌对学习与度量约束将每组源和目标域映射到特定的子空间，并构造了一系列伪目标域进行训练以提高性能。此外，为提高深度神经网络的传递性，用有效的匹配规范化层代替传统批规范化层，给出理论分析和实验探究证明了该方法的有效性。

    Feb, 2022

  • 多源域适应回归

    多源领域自适应算法通过回归问题的两步骤流程，提供了在多个源领域利用信息进行预测的方法，其中使用了灵活的单源自适应算法和集成学习，通过多种学习范式在目标适应学习器中实现线性组合，改进了预测性能。

    Dec, 2023

  • 神经网络对抗训练的多源域适应

    本论文提出了一种新的多源域自适应的一般化界限，并使用对抗神经网络学习特征表示，取得了在情感分析、数字分类和车辆计数等数据集上显著的适应性表现。

    May, 2017

  • 通用源自由域自适应

    该研究提出了一种新的两阶段学习过程，以实现无监督域适应并实现源自由部署。在采购阶段，通过利用现有的源数据，在新颖的生成分类器框架中增强了模型拒绝源外分布样本的能力；在部署阶段，通过使用命名为源相似度度量的新型实例级加权机制，提出了一个简单而有效的源自由自适应目标，以设计一个统一的自适应算法，该算法可在各种范畴差异下运作，并实现了卓越的域适应性能。

    Apr, 2020

  • 高效推断的动态领域自适应

    本文提出了一种动态域自适应框架（DDA），该框架可以在低资源情况下实现高效的目标推理，并继承域适应所带来的有利泛化能力，同时应用领域混淆约束来提高适应性能。

    Mar, 2021

  • 发现领域解耦来进行广义多源域自适应

    本研究提出了一种多源领域适应方法 (GM-DA)，试图解决传统方法中源域与目标域之间类别不完全重叠的问题，该方法基于变分域解缠绕 (VDD) 框架，借助在线伪标签来识别未知类别的目标样本，并且在两个基准数据集上展现了该框架的有效性。

    Jul, 2022

  • 在线元学习的多源和半监督领域适应

    该论文提出一种基于元学习的框架来进一步增强现有领域适应算法的性能，通过在线的最短路径元学习框架改进了无监督和半监督多源领域适应技术 (DANN，MCD 和 MME)，实验表明达到了多项 DA 基准的最佳效果。

    Apr, 2020