带有少量标注的半监督学习
通过实现多种常用的 SSL 技术并在一系列实验中进行测试,研究发现简单基线方法的表现通常被低估,而 SSL 方法对标记和未标记数据的敏感性不同,当未标记数据集包含类外示例时性能可能会显著下降,因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。
Apr, 2018
本文介绍了一种基于自监督正则化的半监督学习方法,其中利用了大量未标记数据来提高模型的性能,并且可以有效地应用于图像分类任务中,不需要任何补充的超参数进行调整。实验结果表明,该方法优于传统的监督和半监督学习方法。
Jun, 2019
本篇研究评估了半监督学习在存在严重类别不平衡和含有新类别图像的真实数据集上的有效性。研究结果表明最近提出的半监督学习方法可以利用不同类别的数据提高性能,但相较于迁移学习仍然表现不足。此外,本文证明在迁移学习中,现有的半监督学习方法在存在不同类别数据时往往是有害的。因此,标准的微调加蒸馏自训练是最健壮的方法。这些研究结论说明,对真实数据集的半监督学习可能需要不同于文献中普遍使用的方法。
Apr, 2021
本文介绍了一种基于聚类原型的无监督选择性标注方法,通过它来提高半监督学习的效率。该方法能够在没有标记数据的情况下,选择代表性和多样性数据作为标记数据,显著改进了现有的半监督学习方法的性能。
Oct, 2021
本文提出了一种新的半监督学习方法DP-SSL,采用创新的数据编程(DP)方案为无标签数据生成概率标签,通过自动生成标签函数并解决不同标签之间的冲突,成功缓解了有限标签数据的问题,实验证明DP-SSL可以为无标签数据提供可靠标签和更好的分类性能。
Oct, 2021
本文针对有限标注信息下的半监督学习进行研究,分析了当前应用最广的半监督学习方法FixMatch在这种情况下的表现和局限,提出了一种利用自监督学习方法提供训练信号以及优化伪标签筛选过程的方案,并在STL-10数据集上得到了显著提高。
Dec, 2021
本文提出一种基于伪标签的半监督学习方法,能够处理open-world SSL问题,并通过样本不确定性和类别分布先验知识等手段,为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好,特别是在CIFAR-100,ImageNet-100和Tiny ImageNet数据集上的表现显著优于现有的最先进技术。
Jul, 2022
该研究提出了PruneSSL,一种可用于增强原始未标记数据集可分离度的实用技术,通过实证研究表明,尽管PruneSSL减少了学习器的可用训练数据量,但它显著提高了多种竞争的半监督学习算法的性能,从而在多个图像分类任务中达到了最先进的结果。
Aug, 2023
通过构建一个半合作的“游戏”,FlexSSL旨在解决半监督学习中标签可观察性的辨别问题,从而充分利用标注和未标注数据,并通过理论推导证明了它与噪声标签上的损失重新加权的联系,通过在不同任务上的评估,我们证明了FlexSSL可以持续增强半监督学习算法的性能。
Dec, 2023
提出了一种用于自学习开放世界类别(SSOC)的开放世界半监督学习方法,该方法可以明确地自学习多个未知类别,并通过与熵损失的结合设计了成对相似性损失来有效发现新类别,实验证明其在多个常见分类基准测试中优于现有最先进基线方法,特别是在ImageNet-100数据集上取得了显著的22%改进。
Jan, 2024