Sep, 2023

自适应半监督学习中的伪标签过滤

PDF
TL;DR本文提出了一种自适应伪标签过滤器（SPF），根据模型发展过程中的置信度分布自动过滤伪标签，与深度神经网络一起演化，无需手动调整，通过将 SPF 应用于现有的半监督学习方法，特别是在标记数据极少的情况下，证明可以提高半监督学习的性能。
semi-supervised learningpseudo labelsfiltering strategyconfidence distributionself-adaptive pseudo-label filter
发现论文，激发创造
  • 滤波和进化：半监督自动语音识别的渐进式伪标签精炼

    本文研究使用伪标签微调自监督预训练模型的方法，提出通过平均概率分数过滤低质量的伪标签，挑选高可信性训练数据，迭代更新模型纠正不可靠的伪标签并去除噪声标签的策略，以提高语音识别性能。实验结果表明，该方法在 LibriSpeech 上具有良好表现。

    Oct, 2022

  • 关于伪标签的辩护：一种基于不确定性的半监督学习伪标签选择框架

    本文提出一种基于不确定性的假标签选择框架，通过减少训练过程中的噪音来提高假标签的准确性，并可以生成负假标签用于多标签分类和负学习，相比于最近的半监督学习方法在 CIFAR-10、CIFAR-100、UCF-101 和 Pascal VOC 数据集上获得了很好的性能。

    Jan, 2021

  • SELF: 用自组学习在过滤含噪标签方面的应用

    使用 self-ensemble 标签过滤方法对深度神经网络在噪声标签下的学习进行改进，通过逐渐过滤错误标签来提高任务性能，同时在无监督损失中利用这些数据进行半监督学习，并在不同的数据集和噪声比率下优于以前所有的噪声感知学习。

    Oct, 2019

  • 自监督特征适应的广义半监督学习

    通过提出自监督特征适应（SSFA）方法，解决了传统半监督学习在标记和未标记数据分布不一致时预测错误伪标签的问题，从而提高了半监督学习性能。

    May, 2024

  • 一种通道集合方法：无偏差和低方差的伪标签对半监督分类至关重要

    我们提出了一种轻量级通道级集成方法，用于将多个次优的伪标签有效地合并为理论上保证的无偏差和低方差的伪标签，该方法可轻松扩展到任何半监督学习框架，并在 CIFAR10/100 上显著优于现有技术，无论是在效果上还是效率上。

    Mar, 2024

  • 不要相信你所信任：半监督学习中的误校准

    本文通过实证研究表明，基于伪标签的半监督学习方法存在显著的误校准问题。为了解决这个问题，本文提出了一个简单的惩罚项，通过保持未标记样本的预测结果的对数距离较小，防止网络预测过于自信。在多个半监督学习图像分类评估中，全面的实验结果表明，所提出的解决方案能够系统地提高相关模型的校准性能，并提升它们的区分力，是应对半监督学习任务的一个有吸引力的补充。

    Mar, 2024

  • 基于预训练模型的半监督学习的渐进特征调整

    建议使用伪标签从无标签数据中更新特征提取器，以解决预训练特征表示所带来的偏见，并通过实验证明该方法优于现有解决方案。

    Sep, 2023

  • 基于类别感知对比半监督学习

    提出了一种名为 CCSSL 的半监督学习方法，采用类别聚类和图像对比改善模型的伪标签质量和在真实世界中的鲁棒性，并通过目标重新加权实现了干净标签学习和减少噪声标签学习。实验表明其在多个数据集上均取得了显著的性能提升。

    Mar, 2022

  • 基于不确定性感知的无源无监督域适应伪标签过滤

    无源无监督域自适应的不确定性伪标签过滤适应（UPA）方法，通过自适应伪标签选择（APS）模块进行精确过滤，同时引入类感知对比学习（CACL）以降低伪标签噪声的记忆化，实现与最先进的方法相当的竞争性能。

    Mar, 2024

  • 平滑伪标签

    在半监督学习中，引入了一种平滑伪标签损失函数来解决标签稀缺性带来性能不稳定的问题，并通过实验验证了其在稀缺标签情况下的显著改善。此外，还提出了一个新的基准测试，在整个数据集中随机选择标记的图像，以改进半监督学习算法的可靠性和解释性。

    May, 2024