Jul, 2024

自适应阈值伪标签和不可靠样本对比损失在半监督图像分类中的应用

PDF
TL;DR自适应阈值伪标注策略和不可靠样本对比损失被提出用于半监督学习中，以解决图像分类中现有方法自定义 / 固定阈值或自适应调整方案可能导致性能不佳和收敛缓慢的问题，以及舍弃低置信度的未标记数据可能导致信息损失的问题。实验结果表明，该方法在部分标记的设置下优于其他方法。
semi-supervised learningpseudo-labelingthresholdunlabeled dataclassification
发现论文，激发创造
  • 课程标记：重新审视半监督学习中的伪标记

    本文重新审视了伪标记的概念，提出了一种基于半监督学习的方法，通过将伪标记应用于无标签集中的样本，并利用已训练好的模型标记这些样本，然后迭代重复此过程来训练模型。本文通过实验证明，伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果，并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上，本文仅使用了 4,000 个标记样本，达到了 94.91% 的准确率，在 Imagenet-ILSVRC 数据集上，本文仅使用了 10％的标记样本，达到了 68.87％的 top-1 的准确率。

    Jan, 2020

  • 利用不可靠的伪标签进行半监督语义分割

    本研究提出了一种通过利用熵值对可靠像素和不可靠像素进行分类，再进一步将不可靠像素分配为负样本，从而对无标签数据进行半监督语义分割的有效策略

    Mar, 2022

  • 深度半监督学习中的伪标记和确认偏差

    提出基于伪标签生成的半监督图像分类方法，利用 mixup 增广和每个 mini-batch 至少有数量的有标注样本的限制解决了伪标签带来的过度拟合问题，并在多个数据集上取得了最新的结果。

    Aug, 2019

  • 半监督自动语音识别的替代伪标注方法

    通过使用伪标签技术的半监督学习，结合泛化的 CTC 损失函数、对抗性 CTC 损失函数和自动阈值方法，本研究提出了一种名为 “替代伪标签” 的新框架，以应对噪声伪标签带来的问题。

    Aug, 2023

  • 在线众包注释中不充分和模糊监督问题缓解方向

    通过众包标注系统和基于伪标签和对比学习的新方法，解决了由于用户知识、文化背景差异和获得监督信息的高成本而导致的标注信息不充分和含糊不清的问题，实现了半监督部分标签学习的最先进表现。

    Oct, 2022

  • 针对长尾半监督学习的不确定性感知采样

    基于不确定性感知的动态阈值选择 (UDTS) 方法解决了半监督学习中类别不平衡的问题，通过引入模型预测的不确定性来调整伪标签选择阈值，提高了模型在长尾类别上的准确性。

    Jan, 2024

  • InstanT：基于实例依赖阈值的半监督学习

    我们提出了一种基于实例的阈值函数，通过利用实例级别的模糊度和伪标签的实例相关错误率，为所有无标签实例设计了新颖的实例相关阈值函数，从而具有最高的自由度，同时为伪标签的正确性提供了有界的概率保证。

    Oct, 2023

  • 自学习：一项调查

    本文介绍了二元和多类分类的自学习方法及其变体，并探讨了一些新的方法。我们评估了这些方法在不同的基准分类数据集上的表现，并提出了未来研究的思路。这是首个完整分析的经验综述。

    Feb, 2022

  • 无标签数据提高对抗鲁棒性

    通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 10 个百分点，与使用额外标签的提高量相差不大。

    May, 2019

  • 纯净半监督学习：在只有很少标记图像的情况下进行半监督学习

    本文针对有限标注信息下的半监督学习进行研究，分析了当前应用最广的半监督学习方法 FixMatch 在这种情况下的表现和局限，提出了一种利用自监督学习方法提供训练信号以及优化伪标签筛选过程的方案，并在 STL-10 数据集上得到了显著提高。

    Dec, 2021