三个头胜过一个：长尾半监督学习的互补专家

AAAIDec, 2023

三个头胜过一个：长尾半监督学习的互补专家

Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning

Chengcheng Ma, Ismail Elezi, Jiankang Deng, Weiming Dong, Changsheng Xu

TL;DR我们提出了一种名为 CPE 的新方法，通过训练多个专家来解决长尾半监督学习中标签不平衡和未标记数据分布未知的问题，并引入 CPE 的类别批量归一化来避免特征分布不匹配造成的性能下降。在 CIFAR-10-LT、CIFAR-100-LT 和 STL-10-LT 数据集基准上，CPE 取得了最先进的性能，例如在 CIFAR-10-LT 上，与基线相比，CPE 将测试准确率提高了超过 2.22％。

Abstract

We address the challenging problem of long-tailed semi-supervised learning (LTSSL) where labeled data exhibit imbalanced class distribution and unlabeled data follow an unknown distribution. Unlike in balanced SS

long-tailed semi-supervised learning imbalanced class distribution pseudo-labels complementary experts classwise batch normalization

发现论文，激发创造

通过协同专家实现图分类的长尾识别

通过协同多专家学习 (CoMe) 提出了一种新的长尾图级分类框架，从头部和尾部类的视角发展出平衡对比学习和基于难类挖掘的个体专家分类器训练，并在多专家框架中进行门控融合和解耦知识蒸馏。通过在七个广泛应用的基准数据集上进行全面实验，证明了我们的 CoMe 方法相对于现有技术基准的优势。

Aug, 2023

长尾半监督学习中提升双重训练的一致性

通过 Boosting cOnsistency in duAl Training (BOAT) 这种新颖的简单方法，在类别分布不匹配的情况下，提高了长尾半监督学习（LTSSL）算法在各种标准的 LTSSL 基准测试中的性能和测试精度。

Jun, 2024

ACE：用盟友互补专家来解决一次学习中的长尾识别问题

本文提出了一种基于 ACE（Ally Complementary Experts）的单阶长尾识别方法，在不需要专门的分类器预训练的情况下，在 CIFAR10-LT，CIFAR100-LT，ImageNet-LT 和 iNaturalist 数据集上实现了显着的性能提升，打破了 “见锯齿现象” 的平衡，并同时提高了多数和少数类别的准确性。

Aug, 2021

同时对一切进行对齐、蒸馏和增强以进行不平衡半监督学习

这篇研究提出了一种名为 ADALLO 的三方案框架，可解决长尾半监督学习中的类别不平衡问题，其中包括一个灵活的分布对齐机制、一个软一致性正则化机制和一个扩展未标记集的架构。该框架在不同程度的类别不平衡，不同数量的标记数据和分布不匹配的情况下在几个基准数据集上进行了评估，并展示了在大分布不匹配的情况下提高不平衡半监督学习表现的显著成果。

Jun, 2023

CoSSL: 基于共同学习表示和分类器的非平衡半监督学习

本文提出了一种新颖的协同学习框架 (CoSSL)，通过分离表示学习和分类器学习来处理不平衡自监督学习。为了处理数据不平衡，我们设计了尾部特征增强 (TFE) 用于分类器学习，并且针对不同的转移测试分布进行了全面评估，实验证明我们的方法在各种不同的转移分布下都表现出优越的性能。

Dec, 2021

不完美环境下的学习：长尾分布和部分标签的多标签分类

本文介绍了一种新颖的任务，即 Partial labeling and Long-Tailed Multi-Label Classification（PLT-MLC），并提出了一种端到端的学习框架 CO-MIC-Balance（Correction，Modification，Balance），用于同时解决长尾分布和部分标签的多标签分类问题，该框架通过比较预测置信度和类特定阈值来修正丢失的标签，使用多聚焦的修饰符损失来同时解决头部尾部不平衡和正负不平衡，并使用平衡分类器来保持所有样本的稳定性。实验结果表明，该方法在新创建的 PLT-MLC 数据集上具有更高的有效性和鲁棒性。

Apr, 2023

长尾类别增量学习

本文提出了两种长尾分布的增量学习场景，研究了在这两个场景下现有方法的表现，并提出了一种包含学习可调权重层的两阶段基线，用于减少由长尾分布引起的偏差，同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上，该方法表现卓越（最高平均增量精度提高 6.44 个百分点）。

Oct, 2022

一种极为简单的半监督不平衡学习基线模型

SimiS 是一种简单而有效的 SSL 算法，通过用伪标签补充数据以解决类别不平衡问题，在 CIFAR100-LT，FOOD101-LT 和 ImageNet127 数据集上分别相对现有方法提高了 12.8％，13.6％和 16.7％的表现。

Nov, 2022

长尾分类的类实例平衡学习

该研究提出了一种新的类实例平衡损失 (CIBL) 方法，以在训练数据的类频率不平衡时，通过重新平衡交叉熵损失和对比损失的相对贡献来获得更平衡的性能表现，并且通过使用余弦分类器，可以在更少的 epochs 中获得类似的性能表现。

Jul, 2023

自监控多元专家聚合在测试不敏感的长尾识别中

本文提出了一种新的方法来解决训练数据分布为长尾分布，同时测试数据分布为未知分布的实用问题，该方法是通过利用自监督来聚合多个从单个长尾数据集中训练出来的技能不同的专家，并理论上证明了该自监督策略具有模拟无关测试类分布的能力。

Jul, 2021