Mar, 2021

半监督转移学习的自适应一致性正则化

HTML
PDF
TL;DR本研究提出了自适应一致性正则化的半监督学习和迁移学习模型，可以利用源域和目标域的强大预训练模型以及目标域的标记/非标记数据。在CIFAR-10、CUB-200和MURA等基准测试中，该模型的性能优于Pseudo Label、Mean Teacher和 FixMatch等半监督学习技术的表现，并且可以在MixMatch和FixMatch的基础上获得额外的提高。
发现论文，激发创造
  • 无标签数据有多种一致的解释：为什么您应该平均

    研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

    Jun, 2018

  • 深度半监督学习中的伪标记和确认偏差

    提出基于伪标签生成的半监督图像分类方法，利用mixup增广和每个mini-batch至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

    Aug, 2019

  • FixMatch：用一致性和置信度简化半监督学习

    该研究论文通过半监督学习中的一种简单的组合方法——一致性正则化和伪标记生成，提出了FixMatch算法，该算法可有效提高网络模型的性能，且在多项半监督学习标准测试中均实现了最先进的表现。

    Jan, 2020

  • 图像到图像转换的半监督范式——变换一致性正则化

    本研究提出了一种基于几何变换的一致性约束正则化半监督图像翻译算法，在图像着色、去噪和超分辨率等数据敏感任务中，表现出仅需约 10-20% 有标注样本数量就能与标注样本量一样优秀的表现，同时可在视频处理任务中大幅提升质量。

    Jul, 2020

  • FeatMatch：基于特征的半监督学习增强

    本文提出了一种创新的特征提取和扩增方法，利用聚类提取的内部和跨类别原型代表信息，生成各式各样的复杂变换，结合传统图像扩增用于一致性正则化损失，实验验证结果表明在小尺寸数据集上与当前先进技术相当，且可以扩展到更大的数据集，例如 CIFAR-100 和 mini-Imagenet 上取得重大进展，并在 DomainNet 上实现更好的鲁棒性。

    Jul, 2020

  • 一致性正则化可提高标签噪声下的鲁棒性

    本论文实验证明，鼓励一致性规则的简单损失函数可以显著提高模型对噪声标签的鲁棒性。

    Oct, 2021

  • 半监督学习的对比正则化

    本文中提出的聚类特征对比正则化方法在半监督学习中取得了最先进的结果，通过聚类伪标签的归属特征来更新模型，以便更有效地将标记信息传播到更多未标记样本。

    Jan, 2022

  • FreeMatch: 半监督学习中的自适应阈值化

    本文提出一种自适应阈值调整方法FreeMatch，以更好地利用未标记数据，另外还引入了自适应类公平性正则化惩罚来促进模型多样性预测。实验证明FreeMatch相对于最新的FlexMatch方法在CIFAR-10、STL-10和ImageNet上均表现更加优越，可提高不平衡SSL的性能。

    May, 2022

  • ConMatch: 带置信度引导的连贯性正则化半监督学习

    本文介绍了一种名为ConMatch的新型半监督学习框架，它在图像的两个强大的增强视图的模型预测之间智能地利用一致性正则化，权重由伪标签的置信度确定。该方法通过弱增强视图作为锚点，提出了新的伪标签置信度度量方法，包括非参数方法和参数方法。特别是，在参数方法中，我们首次提出在网络内学习伪标签置信度，可以端到端地与骨干模型一起训练。在现有的半监督学习中加入ConMatch可以持续提高性能，本文通过实验和大量的消融研究证明了ConMatch的有效性。

    Aug, 2022

  • 通过协同一致性训练实现通用半监督模型适应

    提出了一种称为Universal Semi-supervised Model Adaptation (USMA)的现实和具有挑战性的领域适应问题，该问题需要预训练的源模型，允许源域和目标域具有不同的标签集，并且在目标域中每个类别只需要少量标记样本。为了解决USMA问题，提出了一种协同一致性训练框架，通过在两个模型之间正则化预测一致性来结合它们的互补优势，以学习更强大的模型，并提出了一种基于样本和类别的一致性正则化方法来改善训练过程。在几个基准数据集上的实验证明了我们方法的有效性。

    Jul, 2023