AAAIJan, 2020

课程标记：重新审视半监督学习中的伪标记

PDF
TL;DR本文重新审视了伪标记的概念，提出了一种基于半监督学习的方法，通过将伪标记应用于无标签集中的样本，并利用已训练好的模型标记这些样本，然后迭代重复此过程来训练模型。本文通过实验证明，伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果，并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上，本文仅使用了 4,000 个标记样本，达到了 94.91% 的准确率，在 Imagenet-ILSVRC 数据集上，本文仅使用了 10％的标记样本，达到了 68.87％的 top-1 的准确率。
发现论文，激发创造
  • 深度半监督学习中的伪标记和确认偏差

    提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

    Aug, 2019

  • 标签并不平等：通过标签分组和协同训练增强半监督学习

    本文提出了 SemCo 方法，该方法结合标签语义和联合训练来解决半监督学习中伪标记质量差的问题，该方法在各种 SSL 任务中实现了最先进的性能，例如使用 1000 个标记的样本的 Mini-ImageNet 数据集上提高了 5.6％的准确性。

    Apr, 2021

  • 基于规范化伪标签的自我训练在表格数据上的再探讨

    本文探讨了在表格数据情景下，如何利用自训练和课程伪标记方法来应对半监督和自监督学习中存在的大量标记数据需求与非标记数据的局限性，同时提出了一种基于伪标记生成的置信度得分的新方法，通过该方法可以在高密度区域获得更可靠的伪标签。

    Feb, 2023

  • 无监督域自适应的伪标注课程

    通过基于密度的聚类算法提出伪标签课程表，通过高密度值子集进行早期训练，在后期使用低密度值的数据子集，进而改进网络生成伪标签的能力，提高模型的训练效果并实现最先进的性能

    Aug, 2019

  • 纯净半监督学习：在只有很少标记图像的情况下进行半监督学习

    本文针对有限标注信息下的半监督学习进行研究，分析了当前应用最广的半监督学习方法 FixMatch 在这种情况下的表现和局限，提出了一种利用自监督学习方法提供训练信号以及优化伪标签筛选过程的方案，并在 STL-10 数据集上得到了显著提高。

    Dec, 2021

  • 为何基于伪标签的半监督学习算法如此有效？

    该研究分析了基于伪标签的半监督学习算法之所以有效的理论原因，并比较了有标记数据与有适当初始模型的无标记数据两种情况下训练的模型的泛化误差，证明了在足够数量的无标记数据的情况下，基于伪标签的半监督学习算法可以收敛到最优误差上限，并给出了达到线性收敛率的采样复杂度下限。

    Nov, 2022

  • 基于伪标签的无监督连续学习

    本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。

    Apr, 2021

  • 迭代标签清理用于传导式和半监督式小样本学习

    本论文介绍了一种改进的算法，利用有标注数据和无标注数据的流形结构预测伪标签，在类之间平衡，并使用容量有限的分类器的损失值分布选择最干净的标签，以迭代方式改善伪标签的质量，从而在几个基准数据集上超越了现有技术结果，具有数据可用性与特征空间预处理的健壮性。

    Dec, 2020

  • 自我引导下的部分标签学习

    本文提出了一种新的方法，采用自我训练的方式来处理部分标签数据，其中采用了基于最大无穷范数的伪标签技术来自动实现基准标签的分类，并通过使用简单的二次规划方法进行拟合优化。通过在自制和真实世界数据集上的测试，证明了所提出的方法比现有的部分标签学习方法更加有效。

    Feb, 2019

  • 伪标记的自动课程学习用于半监督关键点定位

    该研究采用一系列动态阈值来自动选择可靠的伪标签样本，形成一个学习课程，从而显著优于先前最先进的 SSL 方法，在六个 keypoint 本地化基准数据集上进行了广泛的实验。

    Jan, 2022