计算机视觉中的伪标签方法综述
本研究提出了一种应对嘈杂标签的无监督半监督深度神经网络学习框架,通过在噪声图像标注中识别出标签准确度较高的部分数据,并利用半监督学习方式训练深度神经网络以更好地利用整个数据集。
Feb, 2018
本文介绍了一种基于自监督正则化的半监督学习方法,其中利用了大量未标记数据来提高模型的性能,并且可以有效地应用于图像分类任务中,不需要任何补充的超参数进行调整。实验结果表明,该方法优于传统的监督和半监督学习方法。
Jun, 2019
提出基于伪标签生成的半监督图像分类方法,利用mixup增广和每个mini-batch至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题,并在多个数据集上取得了最新的结果。
Aug, 2019
本文重新审视了伪标记的概念,提出了一种基于半监督学习的方法,通过将伪标记应用于无标签集中的样本,并利用已训练好的模型标记这些样本,然后迭代重复此过程来训练模型。本文通过实验证明,伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果,并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在CIFAR-10数据集上,本文仅使用了4,000个标记样本,达到了94.91%的准确率,在Imagenet-ILSVRC数据集上,本文仅使用了10%的标记样本,达到了68.87%的top-1的准确率。
Jan, 2020
本文研究如何通过无监督预训练和有标签数据微调相结合,使用大型深度神经网络,在少量标签的情况下实现半监督学习。该方法在ImageNet数据集上实现了10倍效率提升,在只有1%标签的情况下,使用ResNet-50模型获得了73.9%的top-1准确率。
Jun, 2020
本文提出了基于Pair Loss和MixMatch技术的SimPLE算法,通过挖掘标记和未标记数据之间的关系,显著提升了 CIFAR-100 和 Mini-ImageNet 上的性能,并在 CIFAR-10 和 SVHN 上达到了最新方法的水平。此外,SimPLE算法还在迁移学习设置中优于预训练模型。
Mar, 2021
本文提出了SemCo方法,该方法结合标签语义和联合训练来解决半监督学习中伪标记质量差的问题,该方法在各种SSL任务中实现了最先进的性能,例如使用1000个标记的样本的Mini-ImageNet数据集上提高了5.6%的准确性。
Apr, 2021
本文针对有限标注信息下的半监督学习进行研究,分析了当前应用最广的半监督学习方法FixMatch在这种情况下的表现和局限,提出了一种利用自监督学习方法提供训练信号以及优化伪标签筛选过程的方案,并在STL-10数据集上得到了显著提高。
Dec, 2021
在半监督学习中,为了减少标记数据的需求,经常使用自我训练来分配伪标签。然而,由于自我训练中可能会出现错误的伪标签,从而导致训练不稳定,因此提出了一种去偏差的自我训练方法,它使用两个参数独立的分类器头来分离伪标签的生成和利用,并通过对抗优化表征来改善伪标签的质量,从而稳定训练并提高性能。
Feb, 2022
半监督语义分割领域伪标签方法的综述,从不同角度分类并介绍了特定应用领域的具体方法,还探讨了伪标签技术在医学图像分割中的应用,并提出了一些可行的未来研究方向来解决现有挑战。
Mar, 2024