Dec, 2021

纯净半监督学习：在只有很少标记图像的情况下进行半监督学习

PDF
TL;DR本文针对有限标注信息下的半监督学习进行研究，分析了当前应用最广的半监督学习方法 FixMatch 在这种情况下的表现和局限，提出了一种利用自监督学习方法提供训练信号以及优化伪标签筛选过程的方案，并在 STL-10 数据集上得到了显著提高。
semi-supervised learningbarely-supervised learningfixmatchself-supervised methodspseudo-label selection process
发现论文，激发创造
  • 课程标记：重新审视半监督学习中的伪标记

    本文重新审视了伪标记的概念，提出了一种基于半监督学习的方法，通过将伪标记应用于无标签集中的样本，并利用已训练好的模型标记这些样本，然后迭代重复此过程来训练模型。本文通过实验证明，伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果，并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上，本文仅使用了 4,000 个标记样本，达到了 94.91% 的准确率，在 Imagenet-ILSVRC 数据集上，本文仅使用了 10％的标记样本，达到了 68.87％的 top-1 的准确率。

    Jan, 2020

  • 带有少量标注的半监督学习

    本文提出一种新的 SSL 算法，通过引入转移学习和自主监督来初始化数据的表示，再利用新算法，交替拟合有标签和无标签点以降低过拟合和避免标签和无标签损失平衡的问题。实验证明，该方法在标准基准测试中表现优异，特别是在从其他任务或数据集中细化时，效果更佳。

    May, 2019

  • 半监督和自监督学习在医学图像上的准确率与时间前沿

    对医学图像分类应用进行的研究表明，使用未标记的数据可以提高分类器的性能，通过自监督学习和半监督学习的方法，本研究在医学图像领域设计了一个基准测试，发现 MixMatch、SimCLR 和 BYOL 方法是强有力的选择，并提供适用于新医学任务的设置以及进一步搜索的方法。

    Jul, 2023

  • 深度半监督学习中的伪标记和确认偏差

    提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

    Aug, 2019

  • S4L：自监督半监督学习

    本研究探讨了图像分类器的半监督学习问题，提出了自监督半监督学习框架，并使用该框架派生出两种新的半监督图像分类方法。在 ILSVRC-2012 测试中，证明了该方法与现有半监督学习方法相比的有效性和新的最佳结果。

    May, 2019

  • 缺失随机标签时的可靠半监督学习

    本文介绍了一种半监督学习的方法， 采用生成模型与监督学习算法，放松了对未标记特征的约束，可提高分类器的可靠性，从而准确量化标签不确定度。

    Nov, 2018

  • MixMatch: 半监督学习的整体方法

    本研究提出了一种半监督学习算法 MixMatch，采用猜测低熵标签的方法，通过使用 MixUp 混合标记和未标记的数据来处理扩充后的未标注样例。实验结果表明，MixMatch 在许多数据集和标记数据量上都取得了大幅度的优越结果，同时也证明了 MixMatch 如何帮助实现更好的准确性和隐私权的权衡。最终，我们进行了消融研究来分离 MixMatch 的哪些组件对其成功最为重要。

    May, 2019

  • 基于插值的对比学习用于少标签半监督学习

    提出了一种基于插值方法的半监督学习算法来解决使用一些标签的数据集时一致性正则化方法的性能问题，并设计了一种新型对比损失来引导学习网络嵌入样本，实现更好的边界决策能力，通过实验证明，与现有算法相比，该算法可提高分类准确率 5.3% 以上。

    Feb, 2022

  • 无监督选择性标记以实现更有效的半监督学习

    本文介绍了一种基于聚类原型的无监督选择性标注方法，通过它来提高半监督学习的效率。该方法能够在没有标记数据的情况下，选择代表性和多样性数据作为标记数据，显著改进了现有的半监督学习方法的性能。

    Oct, 2021

  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022