Jul, 2023

通过协同一致性训练实现通用半监督模型适应

HTML
PDF
TL;DR提出了一种称为Universal Semi-supervised Model Adaptation (USMA)的现实和具有挑战性的领域适应问题，该问题需要预训练的源模型，允许源域和目标域具有不同的标签集，并且在目标域中每个类别只需要少量标记样本。为了解决USMA问题，提出了一种协同一致性训练框架，通过在两个模型之间正则化预测一致性来结合它们的互补优势，以学习更强大的模型，并提出了一种基于样本和类别的一致性正则化方法来改善训练过程。在几个基准数据集上的实验证明了我们方法的有效性。
发现论文，激发创造
  • 无标签数据有多种一致的解释：为什么您应该平均

    研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

    Jun, 2018

  • 半监督域自适应的学习不变表示和风险

    本论文提出了一种用于半监督域适应的算法LIRR，它能同时学习不变的表示和风险，并将特征空间中的边缘和条件分布对齐，实现了目标泛化能力的有意义提高。该算法在分类和回归任务上实现了最先进的性能和显著的改进。

    Oct, 2020

  • 半监督转移学习的自适应一致性正则化

    本研究提出了自适应一致性正则化的半监督学习和迁移学习模型，可以利用源域和目标域的强大预训练模型以及目标域的标记/非标记数据。在CIFAR-10、CUB-200和MURA等基准测试中，该模型的性能优于Pseudo Label、Mean Teacher和 FixMatch等半监督学习技术的表现，并且可以在MixMatch和FixMatch的基础上获得额外的提高。

    Mar, 2021

  • ECACL: 半监督领域自适应的整体框架

    提出了一种名为增强分类对齐和一致性学习（ECACL）的半监督域自适应（SSDA）框架，其中包括多种相互补充的域对齐技术，并通过类级别对齐、数据增强和模型鲁棒性实现全面域对齐， 以提高具有带标签样本的目标域数据的性能。

    Apr, 2021

  • 半监督域自适应的多层一致性学习

    本文提出了一种基于多级一致性学习的半监督域自适应框架，其中包括使用基于原型的最优传输方法稳健准确地对齐源域和目标域，使用新颖的类内对比聚类损失促进目标特征表示的学习，遵循标准实践并通过自我训练改进预测准确性等多种优化机制。实验证明，该框架在三个受欢迎的半监督域自适应基准测试中均取得了最新的性能表现。

    May, 2022

  • 基于相似度的伪标签注入半监督域自适应

    本研究通过引入对比损失和伪标记机制，对半监督域自适应问题进行了有效解决，并在 Office-Home、DomainNet 和 Office-31 数据集上取得了最先进的性能。

    Sep, 2022

  • 实现标记目标样本价值的两阶段半监督域自适应方法

    本文的研究重点是如何在具有标记源样本和一些标记目标样本的情况下通过将SSDA分解为UDA问题和半监督学习问题来更有效地利用目标样本，在其上提出了一种基于一致性学习的平均教师模型的方法，并表明此方法的效果优于现有方法。

    Apr, 2023

  • 无源领域自适应的一致性正则化

    通过一致性正则化框架、软伪标签、基于采样的伪标签选择策略和全局导向的校准方法，本文提出了一种更具泛化能力的无源域适应方法，在目标训练集和测试集上同时提高模型性能，实现了在多个无源域适应基准上的最先进性能，并展示在未知测试集上的鲁棒性。

    Aug, 2023

  • 让UDA中的U有意义：无监督领域自适应的不变一致性学习

    通过提出不变的一致性学习 (ICON) 方法，本研究在领域自适应和无监督领域适应方面取得了最先进的性能，并在具有挑战性的 WILDS 2.0 基准测试上优于传统方法。

    Sep, 2023

  • 通过减少共同类别偏置来进行普适半监督领域自适应

    通过引入新的先验引导的伪标签优化策略，提出了一种改善UniSSDA适应性设置中常见类别偏差的方法，有助于在Office-Home、DomainNet和VisDA等基准数据集上取得最佳性能，并为UniSSDA建立了新的基准线。

    Mar, 2024