平衡还是不平衡:一种简单而有效的长尾分布学习方法
本研究中,我们解耦学习过程,系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明,数据不平衡在学习高质量表示方面可能不是问题,在使用最简单的实例平衡抽样进行学习表示的情况下,只需调整分类器就能实现强大的长尾识别能力,甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。
Oct, 2019
本文提出了一种新的解决长尾图像识别中头尾偏差问题的方法,通过调整标签空间来平衡数据,从而提高分类性能。实验证明该方法可应用于多种模型,并为长尾特征学习提供了思路。
Aug, 2022
提出了一种新的框架 CBD,利用知识蒸馏增强特征表示,通过使用类平衡采样,第二阶段的训练使得特征表示能够在少数类上进化,可以自然的适用多个 Teachers,并在 ImageNet-LT,iNaturalist17 和 iNaturalist18 数据集上取得比现有技术更好的性能。
Apr, 2021
本文提出了一种新方法,通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别,从而解决长尾分布问题。通过使用类别激活映射,将每个类别的特征分解为类别通用和类别特定部分,并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合,实时生成新样本。结果表明,在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上,本文所提出的方法展现了最先进的表现水平。
Aug, 2020
本文提出了通过使用平衡的特征损失,通过课程学习来加强长尾类别的激励,强化尾部类别的特征规范,从而提高了长尾问题的性能,并在多个受欢迎的长尾识别基准上实现了优越的性能增益。
May, 2023
研究了一种针对长尾数据的方法,基于权重平衡和两阶段训练结合的经典正则化技术,通过分析神经崩溃和锥效应,发现该方法是通过权重衰减和交叉熵损失以及类平衡损失调整的隐式 logit 方法增加特征提取器的 Fisher 判别比率。研究表明,通过将训练阶段的数量减少到一个并提高准确性,可以进一步简化训练方法。
May, 2023
本文提出了一种基于鲁棒性理论的新型损失函数,旨在解决深度模型在处理不平衡数据时的分类偏差问题,从而提高对于长尾类别的识别准确性。在多项基准测试中,通过降低特征空间中头类别的表示偏差,该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。
Apr, 2021
研究表明,在现代长尾学习任务中,重新取样可以极大地提高泛化性能,但也可能学习到与目标标签无关的错误关联。为了防止学习到错误关联,本文提出了一种新的上下文转移增强模块,通过维护从头类别图像中提取的上下文库为尾类别生成多样化的训练图像。实验证明,我们提出的模块能够提升泛化性能,并优于其他方法,包括类别平衡重新取样、解耦分类器重新训练和数据增强方法。
Oct, 2023
本文从领域自适应的角度分析了分类中长尾类别分布的问题,提出了基于元学习的显式估计类别条件分布差异的方案,并在六个基准数据集和三个损失函数上进行了验证。
Mar, 2020