基于标签感知的有界 CVaR 的鲁棒长尾学习

Aug, 2023

基于标签感知的有界 CVaR 的鲁棒长尾学习

Robust Long-Tailed Learning via Label-Aware Bounded CVaR

Hong Zhu, Runpeng Yu, Xing Tang, Yifei Wang, Yuan Fang...

TL;DR本文提出了两种基于 CVaR（条件风险值）的方法来改善长尾学习问题，在理论上提供了坚实的支持，通过实验证实了所提出方法的优越性。

Abstract

Data in the real-world classification problems are always imbalanced or long-tailed, wherein the majority classes have the most of the samples that dominate the model training. In such setting, the naive model tends to have poor performance on the minority classes. Previously, a variety of loss modifications have been proposed to address the long-tailed lean

long-tailed learning imbalanced classification cvar loss modification theoretical guarantee

发现论文，激发创造

条件风险下的统计学习

研究一种基于条件风险价值（CVaR）的风险规避统计学习框架，提出了基于随机梯度下降的算法。对于凸和 Lipschitz 的损失函数，该算法收敛到最优 CVaR，而对于非凸和平滑的损失函数，该算法在 CVaR 上的泛化界表现良好。通过在各种机器学习任务上进行数值实验，证明了该算法有效地将 CVaR 最小化。

Feb, 2020

类别加权分类：权衡和健壮方法

本研究提出了一种针对不平衡分类问题的解决方案，使用加权损失按照正确分类对错误分类的影响程度进行损失估计，进而提出了鲁棒风险的概念，得出了特殊情况下的条件价值风险的鲁棒风险解法，同时这种解法可用于改善类条件风险。

May, 2020

长尾学习的分布鲁棒性损失

本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。

Apr, 2021

通过逻辑调整实现长尾学习

本文介绍了两种简单的技术对抗现实场景中数据标签分布的不平衡性，包括采用标签频率进行 logistic 校准以及在训练过程中强制实施其中之一或两种技术能够鼓励罕见标签与支配标签之间拥有一个相对较大的罕见标签较大的标签在一些学习情况中具有更好的表现。

Jul, 2020

梯度感知的对数调整损失函数用于长尾分类器

我们提出了梯度感知的逻辑调整（GALA）损失和预测再平衡策略来解决长尾数据问题，并在多个数据集上实验证明了其有效性。

Mar, 2024

长尾分类的标签感知分布校准

本文提出了一种新的分布校准方法，名为标签感知分布校准（LADC），它利用头部类的相关统计信息丰富尾部类，从而更准确地校准长尾分布的数据集。实验结果表明 LADC 显著优于现有的方法。

Nov, 2021

面向长尾视觉识别的特征平衡损失

本文提出了通过使用平衡的特征损失，通过课程学习来加强长尾类别的激励，强化尾部类别的特征规范，从而提高了长尾问题的性能，并在多个受欢迎的长尾识别基准上实现了优越的性能增益。

May, 2023

面向长尾视觉识别的校准模型

提出了两种新方法，一种是平衡取向的数据增强（Uniform Mixup），另一种是基于贝叶斯理论的 Bayes Bias，并通过理论和实验证明，这两种方法能够确保分类校准和提高性能。

Nov, 2021

学习长尾数据的降标签方法

减少长尾数据标注成本的弱监督学习方法，有效保留了尾部样本的有监督信息，并提出了一种简单高效且具有强大理论保证的学习框架，通过对 ImageNet 等基准数据集的广泛实验证实了其有效性，优于最先进的弱监督方法。

Mar, 2024

面向长尾视觉识别的平衡对比学习

本研究提出一种适用于长尾数据的平衡对比学习方法 (BCL)，通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式，使分类器实现更好的优化，并在多个长尾数据集上超过了现有竞争对手 (ClFAR-10-LT,CIFAR-100-LT, ImageNet-LT, 以及 iNaturalist2018)

Jul, 2022