ICCVAug, 2023

基于权重感知蒸馏的半监督学习及类别分布不匹配

PDF
TL;DR通过严格的数学推理，本研究揭示了半监督学习中类分布不匹配所导致的错误由伪标签错误和入侵错误共同限制了半监督学习的群体风险，并提出了一种稳健的半监督学习框架 Weight-Aware Distillation（WAD）以通过权重从无监督对比表示中选择性地将对目标任务有益的知识转移到目标分类器，通过在表示空间中探索点互信息（PMI）捕捉自适应权重和高质量伪标签以最大限度地发挥无标签数据的作用并过滤未知类别，并理论上证明 WAD 在类分布不匹配下具有群体风险的紧密上界；实验证明 WAD 在两个基准数据集（CIFAR10 和 CIFAR100）和一个人工交叉数据集上优于五种最先进的半监督学习方法和一个标准基准线
semi-supervised learningclass distribution mismatchweight-aware distillationpseudo-labeling errorinvasion error
发现论文，激发创造
  • CDMAD: 面向类别不平衡半监督学习的类别分布偏差消除

    基于伪标签的半监督学习算法（SSL）在面对类别不平衡集时面临两个级联挑战：1）分类器倾向于偏向多数类，以及 2）使用有偏的伪标签进行训练。CDMAD 是一种新颖的类别不平衡 SSL 算法，它通过评估每个类别中的分类器偏差程度并优化伪标签来解决上述问题，并确保平衡错误的 Fisher 一致性。广泛实验证实了 CDMAD 的有效性。

    Mar, 2024

  • 重新思考开放世界半监督学习：分布不匹配和归纳推理

    该研究通过解决开放世界半监督学习中的假设假设和评估方法的问题，以扩展实用的开放世界半监督学习。

    May, 2024

  • 基于类别感知对比半监督学习

    提出了一种名为 CCSSL 的半监督学习方法，采用类别聚类和图像对比改善模型的伪标签质量和在真实世界中的鲁棒性，并通过目标重新加权实现了干净标签学习和减少噪声标签学习。实验表明其在多个数据集上均取得了显著的性能提升。

    Mar, 2022

  • 同时对一切进行对齐、蒸馏和增强以进行不平衡半监督学习

    这篇研究提出了一种名为 ADALLO 的三方案框架，可解决长尾半监督学习中的类别不平衡问题，其中包括一个灵活的分布对齐机制、一个软一致性正则化机制和一个扩展未标记集的架构。该框架在不同程度的类别不平衡，不同数量的标记数据和分布不匹配的情况下在几个基准数据集上进行了评估，并展示了在大分布不匹配的情况下提高不平衡半监督学习表现的显著成果。

    Jun, 2023

  • 基于伪标签的分布对齐制造厂对半监督不平衡学习的改进

    本文提出一种用于解决由不平衡数据分布训练的半监督学习算法的不足的算法，称为分布对齐伪标签提炼（DARP），该算法可以优化伪标签，保证效率和准确性，并且与现有 SSL 算法兼容。

    Jul, 2020

  • DHC: 双修正异构协同训练框架用于类别不平衡的半监督医学图像分割

    提出一种新颖的双消除偏见异构协同（DHC）框架，用于半监督 3D 医学图像分割，该框架通过两种损失加权策略（DistDW 和 DiffDW）动态利用伪标签引导模型解决数据和学习偏差，并且通过协同训练两个准确的子模型显著提高，实验结果表明我们的方法克服了类别不平衡问题，优于当前的半监督学习方法，在更具挑战性的半监督设置中显示出潜力。

    Jul, 2023

  • 无监督领域自适应的动态加权学习

    本文提出动态加权学习（DWL）的方法，通过引入对齐度和可辨识度的权重动态调整，解决视域不匹配和可辨性消失的负面转移问题，并通过样本加权解决跨域样本分布不平衡问题，从而在多个基准数据集中表现出极好的性能。

    Mar, 2021

  • 朝着真实的半监督学习

    本文提出一种基于伪标签的半监督学习方法，能够处理 open-world SSL 问题，并通过样本不确定性和类别分布先验知识等手段，为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好，特别是在 CIFAR-100，ImageNet-100 和 Tiny ImageNet 数据集上的表现显著优于现有的最先进技术。

    Jul, 2022

  • RDA: 鲁棒半监督学习的互补分布对齐

    提出了一种无需超参数、适用于匹配和不匹配类分布的相互分布对齐 (RDA) 框架，使用两个分类器共同预测未标记数据上的伪标签和互补标签，从而实现这两个携带互补信息的分布互相规范化，解决了分布不匹配问题，可在半监督学习和常规匹配学习设置下的广泛情形中取得优异的表现，同时最大化了输入 - 输出的互信息。

    Aug, 2022

  • 通过不确定性量化来辅助半监督学习

    本文提出了一种基于不确定性感知的新型无监督目标函数，结合最近 SSL 技术，在保证计算效率的同时，在基准数据集中表现优于或与现有最先进技术水平相当，尤其在复杂数据集如 CIFAR-100 和 Mini-ImageNet 上表现最好。

    Jul, 2022