IJCAIJun, 2024

AllMatch: 充分利用所有未标记数据进行半监督学习

PDF
TL;DR现有的半监督学习算法采用伪标记和一致性调节技术来引入未标记样本的监督信号。本文通过对未标记数据的预测来估计模型的学习状态，并提出了一种基于类别的自适应阈值机制，同时设计了一种二元分类一致性调节方法来区分未标记样本中的候选类别。通过结合上述策略，我们提出了一种名为 AllMatch 的新型 SSL 算法，其改进了伪标记准确性并实现了未标记数据的 100% 利用率。我们在多个基准数据集上广泛评估了我们的方法，包括平衡和不平衡设置。结果表明，AllMatch 始终优于现有的最先进方法。
semi-supervised learningpseudo-labelingconsistency regulationadaptive threshold mechanismssl algorithm
发现论文，激发创造
  • FreeMatch: 半监督学习中的自适应阈值化

    本文提出一种自适应阈值调整方法 FreeMatch，以更好地利用未标记数据，另外还引入了自适应类公平性正则化惩罚来促进模型多样性预测。实验证明 FreeMatch 相对于最新的 FlexMatch 方法在 CIFAR-10、STL-10 和 ImageNet 上均表现更加优越，可提高不平衡 SSL 的性能。

    May, 2022

  • SoftMatch: 半监督学习中解决数量 - 质量平衡问题

    本文介绍了基于样本加权统一公式的伪标签方法及其 inherent quantity-quality trade-off 问题，并提出了利用截断高斯函数对置信度加权以实现软的置信度阈值。加强了弱学习类别的利用，在图像分类、文本分类和非平衡分类等多种基准测试中都取得了显著的改进。

    Jan, 2023

  • MixMatch: 半监督学习的整体方法

    本研究提出了一种半监督学习算法 MixMatch，采用猜测低熵标签的方法，通过使用 MixUp 混合标记和未标记的数据来处理扩充后的未标注样例。实验结果表明，MixMatch 在许多数据集和标记数据量上都取得了大幅度的优越结果，同时也证明了 MixMatch 如何帮助实现更好的准确性和隐私权的权衡。最终，我们进行了消融研究来分离 MixMatch 的哪些组件对其成功最为重要。

    May, 2019

  • 利用所有未标记数据提升半监督学习

    该论文提出两种新的技术（即熵值含义损失和自适应负样本学习），以更好地利用所有未标记的样本，并把它们与前沿的 FixMatch 框架相结合，通过多次实验在多个常见的 SSL 基准上表现出优越性能。

    Mar, 2023

  • MarginMatch: 利用伪边际改进半监督学习

    MarginMatch 是一种结合一致性正则化和伪标记的新的 SSL 方法，其主要创新在于使用无标签数据的训练动态来衡量伪标签的质量，以确保屏蔽低质量预测；在低数据情况下，MarginMatch 在四个视觉基准测试以及两个大规模数据集上都取得了显著的改进，并且在每类只有 25 个标签的 CIFAR-100 上提高了 3.25％的错误率，在每类只有 4 个标签的 STL-10 上提高了 3.78％的错误率。

    Aug, 2023

  • FixMatch：用一致性和置信度简化半监督学习

    该研究论文通过半监督学习中的一种简单的组合方法 —— 一致性正则化和伪标记生成，提出了 FixMatch 算法，该算法可有效提高网络模型的性能，且在多项半监督学习标准测试中均实现了最先进的表现。

    Jan, 2020

  • AlphaMatch：利用 Alpha 散度改善半监督学习的一致性

    AlphaMatch 是一种高效的半监督学习方法，利用数据增强实现标签一致性，通过 alpha-divergence 使高置信度的数据优先接受正则化，使用基于优化的 EM 算法作为一致性的实现方式，可以在标准数据集上取得更好的表现。

    Nov, 2020

  • 一种通道集合方法：无偏差和低方差的伪标签对半监督分类至关重要

    我们提出了一种轻量级通道级集成方法，用于将多个次优的伪标签有效地合并为理论上保证的无偏差和低方差的伪标签，该方法可轻松扩展到任何半监督学习框架，并在 CIFAR10/100 上显著优于现有技术，无论是在效果上还是效率上。

    Mar, 2024

  • 同时对一切进行对齐、蒸馏和增强以进行不平衡半监督学习

    这篇研究提出了一种名为 ADALLO 的三方案框架，可解决长尾半监督学习中的类别不平衡问题，其中包括一个灵活的分布对齐机制、一个软一致性正则化机制和一个扩展未标记集的架构。该框架在不同程度的类别不平衡，不同数量的标记数据和分布不匹配的情况下在几个基准数据集上进行了评估，并展示了在大分布不匹配的情况下提高不平衡半监督学习表现的显著成果。

    Jun, 2023

  • 标签匹配半监督目标检测

    本篇论文从分布级别和实例级别两个不同但互补的视角提出了一个简单而有效的 LabelMatch 框架，用于解决自我训练期间存在的标签不匹配问题，并通过 Proposal Self-assignment 机制确定准确的伪标签来促进学生和教师之间的匹配。在 MS-COCO 和 PASCAL-VOC 数据集上的实验结果表明，所提出的框架明显优于其他现有方法。

    Jun, 2022