Jun, 2023

同时对一切进行对齐、蒸馏和增强以进行不平衡半监督学习

PDF
TL;DR这篇研究提出了一种名为 ADALLO 的三方案框架，可解决长尾半监督学习中的类别不平衡问题，其中包括一个灵活的分布对齐机制、一个软一致性正则化机制和一个扩展未标记集的架构。该框架在不同程度的类别不平衡，不同数量的标记数据和分布不匹配的情况下在几个基准数据集上进行了评估，并展示了在大分布不匹配的情况下提高不平衡半监督学习表现的显著成果。
class imbalancelong-tailed semi-supervised learningpseudo-labelsflexible distribution alignmentsoft consistency regularization
发现论文，激发创造
  • 基于伪标签的分布对齐制造厂对半监督不平衡学习的改进

    本文提出一种用于解决由不平衡数据分布训练的半监督学习算法的不足的算法，称为分布对齐伪标签提炼（DARP），该算法可以优化伪标签，保证效率和准确性，并且与现有 SSL 算法兼容。

    Jul, 2020

  • 通过增强分布对齐的半监督学习

    本文提出了一种简单而有效的半监督学习方法，称为增强分布对齐，以解决有限标记样本导致的采样偏差问题，并介绍了一些实现策略（比如采用对抗式训练、插值策略等），同时在 SVHN 和 CIFAR10 数据集上进行了验证。

    May, 2019

  • 一种极为简单的半监督不平衡学习基线模型

    SimiS 是一种简单而有效的 SSL 算法，通过用伪标签补充数据以解决类别不平衡问题，在 CIFAR100-LT，FOOD101-LT 和 ImageNet127 数据集上分别相对现有方法提高了 12.8％，13.6％和 16.7％的表现。

    Nov, 2022

  • SPLAL：基于相似性的伪标签与对齐损失在半监督医学图像分类中的应用

    在这篇论文中，我们提出了一种新颖的半监督学习方法 SPLAL，用于医学图像分类。SPLAL 通过利用类原型和分类器的加权组合，在部分无标签图像上预测可靠的伪标签。此外，我们引入了对齐损失以减少对多数类的模型偏差。实验结果表明，我们的方法在准确率和 F1 分数上显著优于几种最先进的半监督学习方法。

    Jul, 2023

  • 具有偏差自适应分类器的不平衡半监督学习

    本文提出了一种基于偏差自适应分类器的伪标签半监督学习方法，通过引入一个偏差吸引器来自动补偿类别不平衡带来的偏差，从而提高了伪标签方法在类别不平衡情况下的性能。实验证明，该方法优于现有的基准方法。

    Jul, 2022

  • DASO: 面向语义的分布感知假标签在非平衡半监督学习中的应用

    本文提出了一种基于 Distribution-Aware Semantics-Oriented (DASO) Pseudo-label 的伪标签框架，该框架能够减少分类器的偏差预测，特别是在类不平衡和分布不匹配时，能够可靠地提高半监督学习算法的表现。

    Jun, 2021

  • AlphaMatch：利用 Alpha 散度改善半监督学习的一致性

    AlphaMatch 是一种高效的半监督学习方法，利用数据增强实现标签一致性，通过 alpha-divergence 使高置信度的数据优先接受正则化，使用基于优化的 EM 算法作为一致性的实现方式，可以在标准数据集上取得更好的表现。

    Nov, 2020

  • 对抗式特征分布对齐在半监督学习中的应用

    本文提出一种新的特征分布对齐方法，用于在只有少量标记样本时避免过度拟合，已在 CIFAR10 和 SVHN 数据集上进行了测试，结果表明在 SVHN 数据集上取得了接近完全监督模型的测试错误率，并提供了关于特征分布对齐发生的理论洞察，并证明了我们的方法可以减少它。

    Dec, 2019

  • 协作智能编排：基于不一致融合的半监督学习和主动学习

    该研究提出了一种名为 IDEAL 的算法，采用不一致性为基础的虚拟对抗积极学习方法来探索半监督学习和积极学习的潜在优势，通过数据采样和增强策略来评估未标记样本的不一致性并取得了良好的实验效果。

    Jun, 2022

  • 基于权重感知蒸馏的半监督学习及类别分布不匹配

    通过严格的数学推理，本研究揭示了半监督学习中类分布不匹配所导致的错误由伪标签错误和入侵错误共同限制了半监督学习的群体风险，并提出了一种稳健的半监督学习框架 Weight-Aware Distillation（WAD）以通过权重从无监督对比表示中选择性地将对目标任务有益的知识转移到目标分类器，通过在表示空间中探索点互信息（PMI）捕捉自适应权重和高质量伪标签以最大限度地发挥无标签数据的作用并过滤未知类别，并理论上证明 WAD 在类分布不匹配下具有群体风险的紧密上界；实验证明 WAD 在两个基准数据集（CIFAR10 和 CIFAR100）和一个人工交叉数据集上优于五种最先进的半监督学习方法和一个标准基准线

    Aug, 2023