本文提出一种新的SSL算法,通过引入转移学习和自主监督来初始化数据的表示,再利用新算法,交替拟合有标签和无标签点以降低过拟合和避免标签和无标签损失平衡的问题。实验证明,该方法在标准基准测试中表现优异,特别是在从其他任务或数据集中细化时,效果更佳。
May, 2019
本文介绍了一种基于自监督正则化的半监督学习方法,其中利用了大量未标记数据来提高模型的性能,并且可以有效地应用于图像分类任务中,不需要任何补充的超参数进行调整。实验结果表明,该方法优于传统的监督和半监督学习方法。
Jun, 2019
该研究论文通过半监督学习中的一种简单的组合方法——一致性正则化和伪标记生成,提出了FixMatch算法,该算法可有效提高网络模型的性能,且在多项半监督学习标准测试中均实现了最先进的表现。
Jan, 2020
本文提出了基于Pair Loss和MixMatch技术的SimPLE算法,通过挖掘标记和未标记数据之间的关系,显著提升了 CIFAR-100 和 Mini-ImageNet 上的性能,并在 CIFAR-10 和 SVHN 上达到了最新方法的水平。此外,SimPLE算法还在迁移学习设置中优于预训练模型。
Mar, 2021
本文提出了SemCo方法,该方法结合标签语义和联合训练来解决半监督学习中伪标记质量差的问题,该方法在各种SSL任务中实现了最先进的性能,例如使用1000个标记的样本的Mini-ImageNet数据集上提高了5.6%的准确性。
Apr, 2021
本文介绍了基于样本加权统一公式的伪标签方法及其 inherent quantity-quality trade-off 问题, 并提出了利用截断高斯函数对置信度加权以实现软的置信度阈值。加强了弱学习类别的利用, 在图像分类、文本分类和非平衡分类等多种基准测试中都取得了显著的改进。
Jan, 2023
该论文提出两种新的技术(即熵值含义损失和自适应负样本学习),以更好地利用所有未标记的样本,并把它们与前沿的 FixMatch 框架相结合,通过多次实验在多个常见的 SSL 基准上表现出优越性能。
Mar, 2023
提出了一种名为ReFixMatch的新方法,旨在利用所有未标记数据进行训练,从而提高模型的泛化能力和在半监督学习基准测试上的性能。值得注意的是,ReFixMatch在ImageNet上使用10万个标记示例时达到了41.05%的top-1准确率,优于基准FixMatch和目前最先进的方法。
Aug, 2023
自适应阈值伪标注策略和不可靠样本对比损失被提出用于半监督学习中,以解决图像分类中现有方法自定义/固定阈值或自适应调整方案可能导致性能不佳和收敛缓慢的问题,以及舍弃低置信度的未标记数据可能导致信息损失的问题。实验结果表明,该方法在部分标记的设置下优于其他方法。
Jul, 2024
本研究解决了深度神经网络在计算机视觉中对大量标注样本依赖的问题,提出了对伪标签的更广泛理解,涵盖了自监督和无监督方法。通过探讨这些领域之间的联系,研究识别出新的方向,表明一领域的进展可有助于其他领域的发展,特别是在课程学习和自监督正则化方面。
Aug, 2024