FlexMatch:通过课程伪标签增强半监督学习
该研究论文通过半监督学习中的一种简单的组合方法 —— 一致性正则化和伪标记生成,提出了 FixMatch 算法,该算法可有效提高网络模型的性能,且在多项半监督学习标准测试中均实现了最先进的表现。
Jan, 2020
本文提出一种自适应阈值调整方法 FreeMatch,以更好地利用未标记数据,另外还引入了自适应类公平性正则化惩罚来促进模型多样性预测。实验证明 FreeMatch 相对于最新的 FlexMatch 方法在 CIFAR-10、STL-10 和 ImageNet 上均表现更加优越,可提高不平衡 SSL 的性能。
May, 2022
MarginMatch 是一种结合一致性正则化和伪标记的新的 SSL 方法,其主要创新在于使用无标签数据的训练动态来衡量伪标签的质量,以确保屏蔽低质量预测;在低数据情况下,MarginMatch 在四个视觉基准测试以及两个大规模数据集上都取得了显著的改进,并且在每类只有 25 个标签的 CIFAR-100 上提高了 3.25%的错误率,在每类只有 4 个标签的 STL-10 上提高了 3.78%的错误率。
Aug, 2023
在半监督学习中,引入了一种平滑伪标签损失函数来解决标签稀缺性带来性能不稳定的问题,并通过实验验证了其在稀缺标签情况下的显著改善。此外,还提出了一个新的基准测试,在整个数据集中随机选择标记的图像,以改进半监督学习算法的可靠性和解释性。
May, 2024
提出了一种名为 ReFixMatch 的新方法,旨在利用所有未标记数据进行训练,从而提高模型的泛化能力和在半监督学习基准测试上的性能。值得注意的是,ReFixMatch 在 ImageNet 上使用 10 万个标记示例时达到了 41.05%的 top-1 准确率,优于基准 FixMatch 和目前最先进的方法。
Aug, 2023
本文提出了 FlatMatch 方法,通过最小化交叉尖锐度度量来保持两个数据集的一致学习性能,增加标记数据上的经验风险以获得一种最坏模型,然后利用未标记数据的丰富性惩罚最坏模型与原始模型之间的预测差异,从而使学习方向有利于未标记数据的泛化,进而校准学习过程,缓解不匹配的学习性能,进一步实现对未标记数据的有效利用和提高 SSL 性能。经过综合验证,我们展示了 FlatMatch 在许多 SSL 设置中实现了最先进的结果。
Oct, 2023
我们提出了一种轻量级通道级集成方法,用于将多个次优的伪标签有效地合并为理论上保证的无偏差和低方差的伪标签,该方法可轻松扩展到任何半监督学习框架,并在 CIFAR10/100 上显著优于现有技术,无论是在效果上还是效率上。
Mar, 2024
提出了一种名为 CCSSL 的半监督学习方法,采用类别聚类和图像对比改善模型的伪标签质量和在真实世界中的鲁棒性,并通过目标重新加权实现了干净标签学习和减少噪声标签学习。实验表明其在多个数据集上均取得了显著的性能提升。
Mar, 2022
KD-FixMatch 是一种新的 SSL 算法,通过结合知识蒸馏,利用序贯和同时训练的 SNNs 提高性能,并减少性能退化,从而在所有情况下优于 FixMatch。
Sep, 2023