无监督多源域自适应,无需访问源数据
本文提出了一种针对具有一个源域和多个目标域的无监督域适应场景(1SmT)的模型参数自适应转移的无监督域适应框架(PA-1SmT),该框架通过学习一个共同的模型参数词典进行知识转移,并在三个领域适应基准数据集上实验验证了其优越性。
Sep, 2018
本研究提出了一种信息理论方法来处理具有多个相似目标领域的无监督域适应问题,通过寻找一个共同的潜在空间,同时利用信息理论方法实现共享和私有信息的分离,并利用高效的优化算法完成从单一源到多个目标领域的自适应过程。
Oct, 2018
本文提出一种基于源模型的无监督域自适应解决方案SHOTS,在缺乏源数据的情况下,通过信息最大化和自监督伪标签相结合的方式,学习目标特定的特征提取模块,从而使目标域的表示与源假设对齐,并在多个域自适应基准测试中取得了最新的成果。
Feb, 2020
本文针对数据保护的要求,提出了一种基于分类模型训练的无监督领域自适应方法:Source HypOthesis Transfer(简称SHOT),通过提取目标领域的特征并利用同一假设对原数据和目标数据进行映射,同时利用半监督学习来提高目标域中置信度较低的样本的准确性,实现了卓越的性能及实用价值。
Dec, 2020
本篇论文研究了源领域无标签数据的黑盒非监督域适应 (B$^2$UDA) 问题,在此基础上提出了一种名为 Iterative Learning with Noisy Labels (IterLNL) 的简单有效方法,通过黑盒模型作为噪声标签工具进行噪声标注和学习,迭代解决该问题。实验表明,无需源数据和源模型,IterLNL 的表现可与传统有标签源数据的 UDA 方法相媲美。
Jan, 2021
本文提出了一种基于伪源域的方法,通过生成和扩充伪源域,引入四种新的基于伪标签的策略 loss 进行分布对齐,并在伪源域和剩余目标域之间引入一个域对抗损失,以减少分布漂移,从而有效地解决了无监督域自适应的问题。
Sep, 2021
该文提出了一种名为UMAD的通用模型适应框架,能够在不使用源数据或了解域之间类别偏移的先验知识的情况下处理open-set和open-partial-set的两种UDA场景,并通过实验证明其在数据隐私敏感型应用中具有可比较甚至更优的性能。
Dec, 2021
本文提出一种基于知识引导的无监督领域自适应(KUDA)方法,通过利用目标域的先验知识,将该先验知识应用于模型生成伪标签的改进中,从而提高自训练阶段的性能。
Jul, 2022
通过将源领域和目标领域的数据点映射到共享嵌入空间中,训练映射编码器使嵌入空间变得与领域无关,从而使在源领域上训练的分类器能够在目标领域上很好地泛化。为了进一步提高无监督领域适应 (UDA) 的性能,我们提出了一种降低源领域内部分布紧密度的技术,从而提高模型在目标领域中的泛化能力。相对于嵌入空间中不同类别的数据表示之间的间隔,我们提高了UDA模型的性能。为了使内部表示更紧密,我们将源领域的内部学习多模态分布估计为高斯混合模型 (GMM)。利用估计的GMM,我们增强了源领域中不同类别之间的分离性,从而减轻了领域转移的影响。我们提供了理论分析来支持我们的方法的优越性能。为了评估我们方法的有效性,我们在广泛使用的UDA基准数据集上进行了实证实验。结果表明我们的方法增强了模型的泛化能力,并超越了现有技术。
Jan, 2024
本研究针对现代无监督领域适应(UDA)方法的有效性影响因素进行了深入分析,填补了该领域对标准化评估框架的需求。通过开发UDA-Bench框架,我们发现高级骨干网络的适应效益递减,当前方法未充分利用未标记数据,且预训练数据在监督和自监督设置中显著影响下游适应。此工作为无监督适应领域提供了新颖的见解,并验证了众多以往常被视为经验启发或从业者直觉的理论。
Sep, 2024