Jun, 2023

使用无约束未标记数据扩大半监督学习规模

HTML
PDF
TL;DR提出了一种名为UnMixMatch的半监督学习框架，该框架可以从无约束的未标记数据中学习有效表示，以提高性能。它由三个组件组成：具有硬增强的监督学习器提供强大的正则化，对照一致性正则化器从未标记数据中学习底层表示以及自监督损失用于增强从未标记数据中学习的表示。在4个常用数据集上进行了实验，在现有的半监督方法上表现出卓越的性能提高4.79%。广泛的消融和敏感性研究表明了我们方法的每个提出组件的有效性和影响。
发现论文，激发创造
  • FixMatch：用一致性和置信度简化半监督学习

    该研究论文通过半监督学习中的一种简单的组合方法——一致性正则化和伪标记生成，提出了FixMatch算法，该算法可有效提高网络模型的性能，且在多项半监督学习标准测试中均实现了最先进的表现。

    Jan, 2020

  • SimPLE: 特征相似的伪标签利用用于半监督分类

    本文提出了基于Pair Loss和MixMatch技术的SimPLE算法，通过挖掘标记和未标记数据之间的关系，显著提升了 CIFAR-100 和 Mini-ImageNet 上的性能，并在 CIFAR-10 和 SVHN 上达到了最新方法的水平。此外，SimPLE算法还在迁移学习设置中优于预训练模型。

    Mar, 2021

  • 纯净半监督学习：在只有很少标记图像的情况下进行半监督学习

    本文针对有限标注信息下的半监督学习进行研究，分析了当前应用最广的半监督学习方法FixMatch在这种情况下的表现和局限，提出了一种利用自监督学习方法提供训练信号以及优化伪标签筛选过程的方案，并在STL-10数据集上得到了显著提高。

    Dec, 2021

  • 半监督学习的对比正则化

    本文中提出的聚类特征对比正则化方法在半监督学习中取得了最先进的结果，通过聚类伪标签的归属特征来更新模型，以便更有效地将标记信息传播到更多未标记样本。

    Jan, 2022

  • AuxMix：半监督学习与无限制未标记数据

    本研究提出了一种叫做AuxMix的算法，该算法利用自监督学习任务来学习通用特征，以掩盖那些不同于标记集的语义上不相似的辅助数据，并正则化学习通过预测熵最大化来处理不同数据的不确定性，结果显示该算法相比现有的基线在ResNet-50模型上训练CIFAR10数据集时提高了5％。

    Jun, 2022

  • 利用所有未标记数据提升半监督学习

    该论文提出两种新的技术（即熵值含义损失和自适应负样本学习），以更好地利用所有未标记的样本，并把它们与前沿的 FixMatch 框架相结合，通过多次实验在多个常见的 SSL 基准上表现出优越性能。

    Mar, 2023

  • 通过连接高和低置信度预测增强半监督学习

    提出了一种名为ReFixMatch的新方法，旨在利用所有未标记数据进行训练，从而提高模型的泛化能力和在半监督学习基准测试上的性能。值得注意的是，ReFixMatch在ImageNet上使用10万个标记示例时达到了41.05％的top-1准确率，优于基准FixMatch和目前最先进的方法。

    Aug, 2023

  • FlatMatch：利用交叉锐度连接标注数据和无标签数据进行半监督学习

    本文提出了FlatMatch方法，通过最小化交叉尖锐度度量来保持两个数据集的一致学习性能，增加标记数据上的经验风险以获得一种最坏模型，然后利用未标记数据的丰富性惩罚最坏模型与原始模型之间的预测差异，从而使学习方向有利于未标记数据的泛化，进而校准学习过程，缓解不匹配的学习性能，进一步实现对未标记数据的有效利用和提高SSL性能。经过综合验证，我们展示了FlatMatch在许多SSL设置中实现了最先进的结果。

    Oct, 2023

  • InterLUDE：标记数据与未标记数据之间的交互以增强半监督学习

    本研究提出了一种新的半监督学习方法InterLUDE，通过嵌入融合和一种新的损失函数（基于一致性正则化原则），在标记和未标记数据之间实现相互作用，以提高SSL图像分类的性能。实验结果表明，InterLUDE在标准闭集SSL基准测试和医学SSL任务中表现出明显的优势。在只有40个标签的STL-10数据集上，InterLUDE的错误率为3.2％，而最佳先前方法的错误率为14.9％。

    Mar, 2024

  • AllMatch: 充分利用所有未标记数据进行半监督学习

    现有的半监督学习算法采用伪标记和一致性调节技术来引入未标记样本的监督信号。本文通过对未标记数据的预测来估计模型的学习状态，并提出了一种基于类别的自适应阈值机制，同时设计了一种二元分类一致性调节方法来区分未标记样本中的候选类别。通过结合上述策略，我们提出了一种名为AllMatch的新型SSL算法，其改进了伪标记准确性并实现了未标记数据的100%利用率。我们在多个基准数据集上广泛评估了我们的方法，包括平衡和不平衡设置。结果表明，AllMatch始终优于现有的最先进方法。

    Jun, 2024