一种极为简单的半监督不平衡学习基线模型
本文提出一种称为类别不平衡半监督学习(CISSL)的任务,介绍了现有的类别不平衡 SSL 方法,并提出了一种所谓的压抑一致性损失(SCL)的正则化方法,该方法对于类别不平衡情况具有鲁棒性,在 CISSL 环境下比传统方法表现更好。
Feb, 2020
通过实现多种常用的 SSL 技术并在一系列实验中进行测试,研究发现简单基线方法的表现通常被低估,而 SSL 方法对标记和未标记数据的敏感性不同,当未标记数据集包含类外示例时性能可能会显著下降,因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。
Apr, 2018
本文提出了一种基于偏差自适应分类器的伪标签半监督学习方法,通过引入一个偏差吸引器来自动补偿类别不平衡带来的偏差,从而提高了伪标签方法在类别不平衡情况下的性能。实验证明,该方法优于现有的基准方法。
Jul, 2022
提出一种去偏移的方法,适用于多数深度半监督学习方法,并提供了简单的理论保证和推广误差界限,以在各种情境中提供更好的模型校准,同时说明了流行的 SSL 方法的直觉解释。
Mar, 2022
本文提出了一个 semi-supervised learning (SSl) 的新方法:Mixture of Expert/Imitator Networks,该模型通过利用大量未标记数据来训练 imitator 网络模拟 expert 网络的标签分布,从而提高 text classification 任务的性能,实验结果表明该方法可适用于多种深度神经网络模型,并且性能随未标记数据的增加而提高。
Oct, 2018
本文提出一种基于伪标签的半监督学习方法,能够处理 open-world SSL 问题,并通过样本不确定性和类别分布先验知识等手段,为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好,特别是在 CIFAR-100,ImageNet-100 和 Tiny ImageNet 数据集上的表现显著优于现有的最先进技术。
Jul, 2022
本文通过广泛的实验和理论分析,系统研究了在数据集不平衡的情况下自监督学习的表现,并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征,进而提出了一种新的加权正则化技术,显著提高了 SSL 表示的质量。
Oct, 2021
RealMix 是一个半监督学习算法,可解决传统算法在标记数据和非标记数据分布不一致时表现不佳的问题,并在有限的数据和计算资源下取得了优异的结果。
Dec, 2019
本篇研究评估了半监督学习在存在严重类别不平衡和含有新类别图像的真实数据集上的有效性。研究结果表明最近提出的半监督学习方法可以利用不同类别的数据提高性能,但相较于迁移学习仍然表现不足。此外,本文证明在迁移学习中,现有的半监督学习方法在存在不同类别数据时往往是有害的。因此,标准的微调加蒸馏自训练是最健壮的方法。这些研究结论说明,对真实数据集的半监督学习可能需要不同于文献中普遍使用的方法。
Apr, 2021
这篇研究提出了一种名为 ADALLO 的三方案框架,可解决长尾半监督学习中的类别不平衡问题,其中包括一个灵活的分布对齐机制、一个软一致性正则化机制和一个扩展未标记集的架构。该框架在不同程度的类别不平衡,不同数量的标记数据和分布不匹配的情况下在几个基准数据集上进行了评估,并展示了在大分布不匹配的情况下提高不平衡半监督学习表现的显著成果。
Jun, 2023