探索长尾识别问题中的权重平衡

May, 2023

Exploring Weight Balancing on Long-Tailed Recognition Problem

Naoya Hasegawa, Issei Sato

TL;DR研究了一种针对长尾数据的方法，基于权重平衡和两阶段训练结合的经典正则化技术，通过分析神经崩溃和锥效应，发现该方法是通过权重衰减和交叉熵损失以及类平衡损失调整的隐式 logit 方法增加特征提取器的 Fisher 判别比率。研究表明，通过将训练阶段的数量减少到一个并提高准确性，可以进一步简化训练方法。

Abstract

Recognition problems in long-tailed data, where the sample size per class is heavily skewed, have recently gained importance because the distribution of the sample size per class in a dataset is generally exponential unless the sample size is intentionally adjusted. Various approaches

long-tailed data weight balancing neural collapse cone effect fisher's discriminant ratio

发现论文，激发创造

通过权重平衡进行长尾识别

本文提出了一种通过权重均衡技术来解决长尾识别问题的方法，其中使用了 L2 正则化、权重衰减和 MaxNorm 约束等技术，通过两阶段训练，该方法在五种标准基准测试中取得了最先进的准确性，成为长尾识别未来的基线。

Mar, 2022

面向长尾视觉识别的特征平衡损失

本文提出了通过使用平衡的特征损失，通过课程学习来加强长尾类别的激励，强化尾部类别的特征规范，从而提高了长尾问题的性能，并在多个受欢迎的长尾识别基准上实现了优越的性能增益。

May, 2023

长尾识别的表示与分类器解耦

本研究中，我们解耦学习过程，系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明，数据不平衡在学习高质量表示方面可能不是问题，在使用最简单的实例平衡抽样进行学习表示的情况下，只需调整分类器就能实现强大的长尾识别能力，甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。

Oct, 2019

从不平衡中构建平衡：长尾图像识别

本文提出了一种新的解决长尾图像识别中头尾偏差问题的方法，通过调整标签空间来平衡数据，从而提高分类性能。实验证明该方法可应用于多种模型，并为长尾特征学习提供了思路。

Aug, 2022

平衡还是不平衡：一种简单而有效的长尾分布学习方法

本文提出了一个简单而有效的辅助学习方法，通过对神经网络进行分类器和特征提取器的拆分，并针对每个部分采用不同的训练策略，如采用类平衡采样方案来提高对尾部类别的重视，并通过自监督学习进一步提高性能，从而解决了类别不平衡问题。

Dec, 2019

长尾学习作为多目标优化

通过多目标优化，我们提出一种梯度平衡聚类（GBG）策略，以应对现实世界数据中的类别不平衡和长尾分布问题，并在长尾学习中展现出比现有方法更优越的性能。

Oct, 2023

改进长尾识别的校准

本文针对训练数据集不均衡和 miscalibration 等问题，设计了两种方法，分别为标签感知平滑和批次偏移规范化，并在多个长尾识别基准数据集上创造了新记录。

Apr, 2021

高斯型调整逻辑斯谛回归用于长尾视觉识别

该论文针对长尾数据分类的问题，从特征层面提出了特征增强及对数调整方法，用以平衡嵌入（embedding）分布，消除分类器偏差，实验表明该方法超越了现有的最佳方法。

May, 2023

从域自适应的角度重新思考针对长尾视觉识别的类别平衡方法

本文从领域自适应的角度分析了分类中长尾类别分布的问题，提出了基于元学习的显式估计类别条件分布差异的方案，并在六个基准数据集和三个损失函数上进行了验证。

Mar, 2020

长尾学习的分布鲁棒性损失

本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。

Apr, 2021