Feb, 2024

SimPro: 一个简单的基于概率的真实长尾半监督学习框架

PDF
TL;DR在这项研究中，我们提出了一个新颖的、高度适应的框架 SimPro，它不依赖于对未标记数据分布的任何预定义假设。基于一种概率模型，我们创新地改进了期望最大化（EM）算法，通过明确分离条件和边际类别分布的建模来实现。这种分离在最大化阶段为类别分布估计提供了一个闭合形式的解，从而推导出贝叶斯分类器。而贝叶斯分类器则提高了期望阶段中伪标签的质量。值得注意的是，SimPro 框架不仅具备理论保证，而且易于实现。我们还引入了两种新颖的类别分布，扩大了评估的范围。我们的方法在不同基准和数据分布场景下展示了一致的最先进性能。
semi-supervised learningclass distributionsimpro frameworkbayes classifierstate-of-the-art performance
发现论文，激发创造
  • 一种极为简单的半监督不平衡学习基线模型

    SimiS 是一种简单而有效的 SSL 算法，通过用伪标签补充数据以解决类别不平衡问题，在 CIFAR100-LT，FOOD101-LT 和 ImageNet127 数据集上分别相对现有方法提高了 12.8％，13.6％和 16.7％的表现。

    Nov, 2022

  • ProcSim：基于代理的鲁棒相似性学习的置信度

    通过建立类别本体并创建语义一致的标签错误，提出了一种简单的框架 ProcSim，通过将样本与其类别代表的归一化距离计算得到置信度评分，从而训练鲁棒的深度度量学习模型，实验结果表明该方法在注入均匀和语义一致噪声的深度度量学习基准数据集上取得了最先进的性能。

    Nov, 2023

  • 非参数半监督学习的类别比例

    该研究提出了解决从正类和未标记数据中开发二元分类器的问题的方法，其中主要集中在如何准确估计正类和负类先验概率的问题。通过研究非参数类先验估计和使用混合模型估计混合比例，该研究提供了一个新的算法以解决问题，通过实际转换为低维空间来解决高维密度估计等问题。

    Jan, 2016

  • 缺失随机标签时的可靠半监督学习

    本文介绍了一种半监督学习的方法， 采用生成模型与监督学习算法，放松了对未标记特征的约束，可提高分类器的可靠性，从而准确量化标签不确定度。

    Nov, 2018

  • SimPLE: 特征相似的伪标签利用用于半监督分类

    本文提出了基于 Pair Loss 和 MixMatch 技术的 SimPLE 算法，通过挖掘标记和未标记数据之间的关系，显著提升了 CIFAR-100 和 Mini-ImageNet 上的性能，并在 CIFAR-10 和 SVHN 上达到了最新方法的水平。此外，SimPLE 算法还在迁移学习设置中优于预训练模型。

    Mar, 2021

  • 探索半监督学习的概率模型

    该论文研究了先进的概率模型，包括它们的理论基础和实际应用，用于不同的半监督学习任务，提出的概率方法能够快速提供可靠的不确定性估计，从而提高 AI 系统在真实应用中的安全性，并能够与确定性方法相比获得有竞争力的性能，实验结果表明，该论文提出的方法在自动驾驶或医学图像分析等安全关键领域具有重要价值，并为 SSL 领域未来发现高效有效的概率方法铺平了道路。

    Apr, 2024

  • SimFair: 公平感知多标签分类的统一框架

    本研究探索了在多标签分类任务中公平意识的构建，并提出了一种新的框架，名为相似性诱导公平。该框架利用具有相似标签的数据来实现更好的稳定性，在多标签数据上表现出比现有方法更好的性能。

    Feb, 2023

  • 贝叶斯伪标签：期望最大化用于鲁棒和高效半监督分割

    本研究介绍了一种新的伪标记形式，作为期望最大化算法的清晰统计解释，并提出了一种基于原始伪标记的半监督医学图像分割方法 SegPL，证明了其在 2D 多类 MRI 脑肿瘤和 3D 二进制 CT 肺血管分割任务中的效力和可靠性。

    Aug, 2022

  • 子集选择的半监督数据编程

    本文提出了一种半监督的数据编程范式，使用规则 / 标注函数和半监督损失函数基于特征空间学习联合模型，此外，还研究了在联合半监督数据编程目标之上进行子集选择的模型，并在七个公开数据集上表现显著优于其他状态下的模型。

    Aug, 2020

  • 基于评分规则最小化的概率自监督学习

    本文提出了一种通过 Scoring Rule Minimization 进行的新型概率自监督学习方法（ProSMIN），利用概率模型增强表示质量和减少崩溃表示，我们的方法通过两个神经网络（在线网络和目标网络）协作学习彼此的多样表示分布，通过知识蒸馏，通过以不同增强视图呈现的输入样本，训练在线网络预测目标网络同一样本的表示，两个网络通过基于适当评分规则的新损失函数进行训练，我们为 ProSMIN 的收敛提供了理论证明，证明了其修改后的评分规则的严格适当性，这一见解验证了该方法的优化过程，并有助于提高表示质量的鲁棒性和效果，在如 InageNet-O 和 ImageNet-C 等大规模数据集上的各种下游任务上评估了我们的概率模型，ProSMIN 在精度和校准方面表现出卓越的能力，超越了自监督基线，在广泛的实验中证明了其可伸缩性和实际适用性。

    Sep, 2023