通过不确定性量化来辅助半监督学习

Jul, 2022

通过不确定性量化来辅助半监督学习

Complementing Semi-Supervised Learning with Uncertainty Quantification

Ehsan Kazemi

TL;DR本文提出了一种基于不确定性感知的新型无监督目标函数，结合最近 SSL 技术，在保证计算效率的同时，在基准数据集中表现优于或与现有最先进技术水平相当，尤其在复杂数据集如 CIFAR-100 和 Mini-ImageNet 上表现最好。

Abstract

The problem of fully supervised classification is that it requires a tremendous amount of annotated data, however, in many datasets a large portion of data is unlabeled. To alleviate this problem semi-supervised learning (SSL) leverages the knowledge of the classifier on the labeled do

semi-supervised learning consistency regularization uncertainty-aware objective aleatoric uncertainty epistemic uncertainty

发现论文，激发创造

朝着真实的半监督学习

本文提出一种基于伪标签的半监督学习方法，能够处理 open-world SSL 问题，并通过样本不确定性和类别分布先验知识等手段，为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好，特别是在 CIFAR-100，ImageNet-100 和 Tiny ImageNet 数据集上的表现显著优于现有的最先进技术。

Jul, 2022

关于伪标签的辩护：一种基于不确定性的半监督学习伪标签选择框架

本文提出一种基于不确定性的假标签选择框架，通过减少训练过程中的噪音来提高假标签的准确性，并可以生成负假标签用于多标签分类和负学习，相比于最近的半监督学习方法在 CIFAR-10、CIFAR-100、UCF-101 和 Pascal VOC 数据集上获得了很好的性能。

Jan, 2021

不要相信你所信任：半监督学习中的误校准

本文通过实证研究表明，基于伪标签的半监督学习方法存在显著的误校准问题。为了解决这个问题，本文提出了一个简单的惩罚项，通过保持未标记样本的预测结果的对数距离较小，防止网络预测过于自信。在多个半监督学习图像分类评估中，全面的实验结果表明，所提出的解决方案能够系统地提高相关模型的校准性能，并提升它们的区分力，是应对半监督学习任务的一个有吸引力的补充。

Mar, 2024

少样本零样本情境中的半监督学习

我们通过引入额外的熵损失构建了一个分类器，用于对来自已知和未知类别的数据进行分类，从而改进了现有的半监督学习方法在已知和未知类别的分类中的表现。通过在 CIFAR-100 和 STL-10 两个基准图像分类数据集上的实验证明，我们相对于现有的 SSL、开放集合 SSL 和开放世界 SSL 方法取得了巨大的改进。当标记数据非常有限（每个类别 1-25 个标记示例）时，进步最为显著。

Aug, 2023

一种使用正则化的置信度预测的不确定性感知伪标签选择框架

该研究提出了一种基于不确定性感知的伪标签选择框架，利用符合规范化算法产生的不确定性集合，修复了拟合不当的神经网络，从而减少嘈杂的训练数据。

Aug, 2023

开放场景半监督医学图像分类

本文提出一种针对医疗图像分类领域的半监督学习方法，借助于新领域、新标签的未标记数据，采用基于双路径异常值估计和变分自动编码器预训练的方法，实现更好的开放场景下的分类表现。在实验中，该模型在不同的医疗学习场景下 Demonstrate 了更好的分类表现。

Apr, 2023

AuxMix：半监督学习与无限制未标记数据

本研究提出了一种叫做 AuxMix 的算法，该算法利用自监督学习任务来学习通用特征，以掩盖那些不同于标记集的语义上不相似的辅助数据，并正则化学习通过预测熵最大化来处理不同数据的不确定性，结果显示该算法相比现有的基线在 ResNet-50 模型上训练 CIFAR10 数据集时提高了 5％。

Jun, 2022

元优化合成样本的生成半监督学习

我们提出了一种使用合成数据集来训练半监督学习模型的方法，该方法通过使用基于生成式基础模型训练的合成数据集来替代真实的未标记数据集，并证明了在极少标记数据集的情况下，合成样本比真实未标记数据更有效地提升性能。

Sep, 2023

面向前列腺 MRI 分区分割的不确定性感知半监督学习

本研究提出了一种基于半监督学习的医学图像分割方法，该方法利用最近的深度学习不确定性估计模型来生成伪标签标注数据，并自动选择最佳的伪注释，进而在不需要全部标注的情况下，实现了分割模型在医学 3D 数据集上更好的性能，验证实验表明其在前列腺磁共振成像数据集上的性能得到了明显的提升。

May, 2023

半监督学习能否有效利用全部数据？从下界的角度看

半监督学习算法可以利用未标记数据，改善有监督学习算法的样本复杂性。然而，现有的理论分析主要关注无监督学习能够使用足够的未标记数据来学习良好的决策边界的情况。我们通过对二元高斯混合模型的严格下界进行推导，在分布的标记和未标记数据集大小以及混合分布的信噪比上明确地依赖。令人惊讶的是，我们的结果表明，对于这些分布，没有任何半监督学习算法可以改进标记的最小最优统计误差率或无监督学习算法的性能。然而，我们在真实世界的数据上通过实验证明了半监督学习算法仍然可以优于无监督学习和有监督学习方法。因此，我们的工作表明，虽然证明半监督学习算法性能的提升是可能的，但需要仔细追踪常数。

Nov, 2023