ICLRMar, 2023

InPL: 针对不平衡半监督学习首先伪标记正常值

PDF
TL;DR提出了一种基于能量评分的伪标签方法（InPL）来应对非均衡半监督学习问题，该方法不依赖于模型置信度，而是根据样本在当前训练数据附近的相对位置进行评分，与目前的置信度评分方法相比，InPL 能够相对简单且显著地提高分类精度，并在 CIFAR10-LT 数据集上提高了 3％的绝对准确度和一个最具挑战性的场景下跑赢了最佳竞争对手。
semi-supervised learningimbalanced learningenergy scorepseudo-labelingout-of-distribution detection
发现论文，激发创造
  • EnergyMatch: 基于能量的伪标记半监督学习

    本文提出基于能量分数的伪标记法，用于解决深度卷积神经网络中，由于 softmax 置信度无法准确反映样本离训练数据的距离，导致伪标记不可靠的问题，并在不平衡 SSL 数据集上实现了明显的精度提升。

    Jun, 2022

  • 关于伪标记在类别不匹配半监督学习中的应用

    该论文以 Pseudo-Labeling 为代表的 SSL 方法为研究对象，探究了未标记的 Out-Of-Distribution 数据对于类异构 SSL 方法的影响。研究发现，不平衡的伪标签是 PL 方法存在的主要问题。本文提出了两个改进方法：Re-balanced Pseudo-Labeling 和 Semantic Exploration Clustering，来解决这一问题，最终在不同基准测试中实现了超越监督基线和最先进性能的稳定改进。

    Jan, 2023

  • 关于伪标签的辩护：一种基于不确定性的半监督学习伪标签选择框架

    本文提出一种基于不确定性的假标签选择框架，通过减少训练过程中的噪音来提高假标签的准确性，并可以生成负假标签用于多标签分类和负学习，相比于最近的半监督学习方法在 CIFAR-10、CIFAR-100、UCF-101 和 Pascal VOC 数据集上获得了很好的性能。

    Jan, 2021

  • 一种通道集合方法：无偏差和低方差的伪标签对半监督分类至关重要

    我们提出了一种轻量级通道级集成方法，用于将多个次优的伪标签有效地合并为理论上保证的无偏差和低方差的伪标签，该方法可轻松扩展到任何半监督学习框架，并在 CIFAR10/100 上显著优于现有技术，无论是在效果上还是效率上。

    Mar, 2024

  • 不要相信你所信任：半监督学习中的误校准

    本文通过实证研究表明，基于伪标签的半监督学习方法存在显著的误校准问题。为了解决这个问题，本文提出了一个简单的惩罚项，通过保持未标记样本的预测结果的对数距离较小，防止网络预测过于自信。在多个半监督学习图像分类评估中，全面的实验结果表明，所提出的解决方案能够系统地提高相关模型的校准性能，并提升它们的区分力，是应对半监督学习任务的一个有吸引力的补充。

    Mar, 2024

  • 一种极为简单的半监督不平衡学习基线模型

    SimiS 是一种简单而有效的 SSL 算法，通过用伪标签补充数据以解决类别不平衡问题，在 CIFAR100-LT，FOOD101-LT 和 ImageNet127 数据集上分别相对现有方法提高了 12.8％，13.6％和 16.7％的表现。

    Nov, 2022

  • DP-SSL: 面向用少量标注样本提升鲁棒性的半监督学习

    本文提出了一种新的半监督学习方法 DP-SSL，采用创新的数据编程（DP）方案为无标签数据生成概率标签，通过自动生成标签函数并解决不同标签之间的冲突，成功缓解了有限标签数据的问题，实验证明 DP-SSL 可以为无标签数据提供可靠标签和更好的分类性能。

    Oct, 2021

  • 一种使用正则化的置信度预测的不确定性感知伪标签选择框架

    该研究提出了一种基于不确定性感知的伪标签选择框架，利用符合规范化算法产生的不确定性集合，修复了拟合不当的神经网络，从而减少嘈杂的训练数据。

    Aug, 2023

  • 类别不平衡的半监督学习

    本文提出一种称为类别不平衡半监督学习（CISSL）的任务，介绍了现有的类别不平衡 SSL 方法，并提出了一种所谓的压抑一致性损失（SCL）的正则化方法，该方法对于类别不平衡情况具有鲁棒性，在 CISSL 环境下比传统方法表现更好。

    Feb, 2020

  • 基于能量模型的经过校准的置信度伪标签学习

    基于能量模型 (EBM) 的基于能量的半监督伪标签算法 (EBPL) 在网络训练期间通过共享特征提取部分来学习类别决策边界和输入数据分布，从而提高可信度校准，在半监督图像分类任务中优于现有的伪标签方法，具有更好的可信度校准误差和识别准确率。

    Apr, 2024