提出了一种基于能量评分的伪标签方法(InPL)来应对非均衡半监督学习问题,该方法不依赖于模型置信度,而是根据样本在当前训练数据附近的相对位置进行评分,与目前的置信度评分方法相比,InPL 能够相对简单且显著地提高分类精度,并在 CIFAR10-LT 数据集上提高了 3%的绝对准确度和一个最具挑战性的场景下跑赢了最佳竞争对手。
Mar, 2023
本文通过实证研究表明,基于伪标签的半监督学习方法存在显著的误校准问题。为了解决这个问题,本文提出了一个简单的惩罚项,通过保持未标记样本的预测结果的对数距离较小,防止网络预测过于自信。在多个半监督学习图像分类评估中,全面的实验结果表明,所提出的解决方案能够系统地提高相关模型的校准性能,并提升它们的区分力,是应对半监督学习任务的一个有吸引力的补充。
Mar, 2024
基于能量模型 (EBM) 的基于能量的半监督伪标签算法 (EBPL) 在网络训练期间通过共享特征提取部分来学习类别决策边界和输入数据分布,从而提高可信度校准,在半监督图像分类任务中优于现有的伪标签方法,具有更好的可信度校准误差和识别准确率。
Apr, 2024
在开放世界中安全部署机器学习模型的重要基础是确定输入是否为 ODD, 然而,传统基于 softmax 置信度得分的方法在 ODD 数据的后验分布上存在过度自信的问题,本文提出了一个使用能量分数的 ODD 检测的统一框架,理论上更能够识别 “内部” 和 “外部” 数据。这个框架内可以灵活地将能量用作得分函数和 OOR 检测的可训练成本函数,与 CIFAR-10 预训练的 WideResNet 相比,使用能量分数将平均 FPR (在 TPR 95%处)降低了 18.03%,并且使用基于能量的训练,我们的方法在常见基准上表现优异。
Oct, 2020
本文提出一种基于不确定性的假标签选择框架,通过减少训练过程中的噪音来提高假标签的准确性,并可以生成负假标签用于多标签分类和负学习,相比于最近的半监督学习方法在 CIFAR-10、CIFAR-100、UCF-101 和 Pascal VOC 数据集上获得了很好的性能。
Jan, 2021
我们提出了一种轻量级通道级集成方法,用于将多个次优的伪标签有效地合并为理论上保证的无偏差和低方差的伪标签,该方法可轻松扩展到任何半监督学习框架,并在 CIFAR10/100 上显著优于现有技术,无论是在效果上还是效率上。
基于潜在能量的混合模型(PEMM)用于噪声标签学习,通过将深度学习骨干与我们提出的分类器相结合,可以得到具有更好特征表示和优越噪声容忍性的鲁棒网络。
May, 2024
本文重新审视了伪标记的概念,提出了一种基于半监督学习的方法,通过将伪标记应用于无标签集中的样本,并利用已训练好的模型标记这些样本,然后迭代重复此过程来训练模型。本文通过实验证明,伪标记方法可以取得与现有最先进方法相媲美甚至更好的结果,并且更能抵御未知分布样本。作者指出采用学习课程原理以及在每个自我训练周期前重启模型参数是实现这一点的两个关键因素。在 CIFAR-10 数据集上,本文仅使用了 4,000 个标记样本,达到了 94.91% 的准确率,在 Imagenet-ILSVRC 数据集上,本文仅使用了 10%的标记样本,达到了 68.87%的 top-1 的准确率。
Jan, 2020
本文提出了一种基于不确定性感知的新型无监督目标函数,结合最近 SSL 技术,在保证计算效率的同时,在基准数据集中表现优于或与现有最先进技术水平相当,尤其在复杂数据集如 CIFAR-100 和 Mini-ImageNet 上表现最好。
Jul, 2022
SimiS 是一种简单而有效的 SSL 算法,通过用伪标签补充数据以解决类别不平衡问题,在 CIFAR100-LT,FOOD101-LT 和 ImageNet127 数据集上分别相对现有方法提高了 12.8%,13.6%和 16.7%的表现。
Nov, 2022