SoftMatch: 半监督学习中解决数量 - 质量平衡问题
本文提出一种自适应阈值调整方法 FreeMatch,以更好地利用未标记数据,另外还引入了自适应类公平性正则化惩罚来促进模型多样性预测。实验证明 FreeMatch 相对于最新的 FlexMatch 方法在 CIFAR-10、STL-10 和 ImageNet 上均表现更加优越,可提高不平衡 SSL 的性能。
May, 2022
在半监督学习中,引入了一种平滑伪标签损失函数来解决标签稀缺性带来性能不稳定的问题,并通过实验验证了其在稀缺标签情况下的显著改善。此外,还提出了一个新的基准测试,在整个数据集中随机选择标记的图像,以改进半监督学习算法的可靠性和解释性。
May, 2024
MarginMatch 是一种结合一致性正则化和伪标记的新的 SSL 方法,其主要创新在于使用无标签数据的训练动态来衡量伪标签的质量,以确保屏蔽低质量预测;在低数据情况下,MarginMatch 在四个视觉基准测试以及两个大规模数据集上都取得了显著的改进,并且在每类只有 25 个标签的 CIFAR-100 上提高了 3.25%的错误率,在每类只有 4 个标签的 STL-10 上提高了 3.78%的错误率。
Aug, 2023
本文提出了一种基于不确定性感知的新型无监督目标函数,结合最近 SSL 技术,在保证计算效率的同时,在基准数据集中表现优于或与现有最先进技术水平相当,尤其在复杂数据集如 CIFAR-100 和 Mini-ImageNet 上表现最好。
Jul, 2022
我们提出了一种轻量级通道级集成方法,用于将多个次优的伪标签有效地合并为理论上保证的无偏差和低方差的伪标签,该方法可轻松扩展到任何半监督学习框架,并在 CIFAR10/100 上显著优于现有技术,无论是在效果上还是效率上。
Mar, 2024
该研究论文通过半监督学习中的一种简单的组合方法 —— 一致性正则化和伪标记生成,提出了 FixMatch 算法,该算法可有效提高网络模型的性能,且在多项半监督学习标准测试中均实现了最先进的表现。
Jan, 2020
现有的半监督学习算法采用伪标记和一致性调节技术来引入未标记样本的监督信号。本文通过对未标记数据的预测来估计模型的学习状态,并提出了一种基于类别的自适应阈值机制,同时设计了一种二元分类一致性调节方法来区分未标记样本中的候选类别。通过结合上述策略,我们提出了一种名为 AllMatch 的新型 SSL 算法,其改进了伪标记准确性并实现了未标记数据的 100% 利用率。我们在多个基准数据集上广泛评估了我们的方法,包括平衡和不平衡设置。结果表明,AllMatch 始终优于现有的最先进方法。
Jun, 2024
本研究提出了一种半监督学习算法 MixMatch,采用猜测低熵标签的方法,通过使用 MixUp 混合标记和未标记的数据来处理扩充后的未标注样例。实验结果表明,MixMatch 在许多数据集和标记数据量上都取得了大幅度的优越结果,同时也证明了 MixMatch 如何帮助实现更好的准确性和隐私权的权衡。最终,我们进行了消融研究来分离 MixMatch 的哪些组件对其成功最为重要。
May, 2019
提出了一种名为 DualMatch 的新型半监督学习方法,其中类别预测以双层交互方式调用特征嵌入,通过一致的正则化确保不同的增强视图受到一致的类别预测约束,并确保同一类别的不同数据具有类似的特征嵌入,实验证明了 DualMatch 的有效性。
Oct, 2023
本文提出了 FlatMatch 方法,通过最小化交叉尖锐度度量来保持两个数据集的一致学习性能,增加标记数据上的经验风险以获得一种最坏模型,然后利用未标记数据的丰富性惩罚最坏模型与原始模型之间的预测差异,从而使学习方向有利于未标记数据的泛化,进而校准学习过程,缓解不匹配的学习性能,进一步实现对未标记数据的有效利用和提高 SSL 性能。经过综合验证,我们展示了 FlatMatch 在许多 SSL 设置中实现了最先进的结果。
Oct, 2023