带有少量标注的半监督学习
我们通过引入额外的熵损失构建了一个分类器,用于对来自已知和未知类别的数据进行分类,从而改进了现有的半监督学习方法在已知和未知类别的分类中的表现。通过在 CIFAR-100 和 STL-10 两个基准图像分类数据集上的实验证明,我们相对于现有的 SSL、开放集合 SSL 和开放世界 SSL 方法取得了巨大的改进。当标记数据非常有限(每个类别 1-25 个标记示例)时,进步最为显著。
Aug, 2023
通过实现多种常用的 SSL 技术并在一系列实验中进行测试,研究发现简单基线方法的表现通常被低估,而 SSL 方法对标记和未标记数据的敏感性不同,当未标记数据集包含类外示例时性能可能会显著下降,因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。
Apr, 2018
本文通过广泛的实验和理论分析,系统研究了在数据集不平衡的情况下自监督学习的表现,并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征,进而提出了一种新的加权正则化技术,显著提高了 SSL 表示的质量。
Oct, 2021
本文介绍了一种基于聚类原型的无监督选择性标注方法,通过它来提高半监督学习的效率。该方法能够在没有标记数据的情况下,选择代表性和多样性数据作为标记数据,显著改进了现有的半监督学习方法的性能。
Oct, 2021
本文提出一种称为类别不平衡半监督学习(CISSL)的任务,介绍了现有的类别不平衡 SSL 方法,并提出了一种所谓的压抑一致性损失(SCL)的正则化方法,该方法对于类别不平衡情况具有鲁棒性,在 CISSL 环境下比传统方法表现更好。
Feb, 2020
本文提出一种基于伪标签的半监督学习方法,能够处理 open-world SSL 问题,并通过样本不确定性和类别分布先验知识等手段,为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好,特别是在 CIFAR-100,ImageNet-100 和 Tiny ImageNet 数据集上的表现显著优于现有的最先进技术。
Jul, 2022
本文提出了一种新的半监督学习方法 DP-SSL,采用创新的数据编程(DP)方案为无标签数据生成概率标签,通过自动生成标签函数并解决不同标签之间的冲突,成功缓解了有限标签数据的问题,实验证明 DP-SSL 可以为无标签数据提供可靠标签和更好的分类性能。
Oct, 2021
本篇研究评估了半监督学习在存在严重类别不平衡和含有新类别图像的真实数据集上的有效性。研究结果表明最近提出的半监督学习方法可以利用不同类别的数据提高性能,但相较于迁移学习仍然表现不足。此外,本文证明在迁移学习中,现有的半监督学习方法在存在不同类别数据时往往是有害的。因此,标准的微调加蒸馏自训练是最健壮的方法。这些研究结论说明,对真实数据集的半监督学习可能需要不同于文献中普遍使用的方法。
Apr, 2021
提出了一种基于插值方法的半监督学习算法来解决使用一些标签的数据集时一致性正则化方法的性能问题,并设计了一种新型对比损失来引导学习网络嵌入样本,实现更好的边界决策能力,通过实验证明,与现有算法相比,该算法可提高分类准确率 5.3% 以上。
Feb, 2022
本文提出了一个 semi-supervised learning (SSl) 的新方法:Mixture of Expert/Imitator Networks,该模型通过利用大量未标记数据来训练 imitator 网络模拟 expert 网络的标签分布,从而提高 text classification 任务的性能,实验结果表明该方法可适用于多种深度神经网络模型,并且性能随未标记数据的增加而提高。
Oct, 2018