类别不平衡下神经网络训练简化

Dec, 2023

Simplifying Neural Network Training Under Class Imbalance

Ravid Shwartz-Ziv, Micah Goldblum, Yucen Lily Li, C. Bayan Bruss, Andrew Gordon Wilson

TL;DR现实世界的数据集通常存在严重的类别不平衡问题，通过调整标准深度学习流程的现有组件，如批次大小、数据增强、优化器和标签平滑等，可以实现无需专门的类别不平衡方法即可达到最先进的性能，并提供了关于训练类别不平衡的关键建议和考虑因素，以及关于为什么类别不平衡方法成功或失败的理解。

Abstract

Real-world datasets are often highly class-imbalanced, which can adversely impact the performance of deep learning models. The majority of research on training neural networks under class imbalance has focused on

class imbalance deep learning models specialized loss functions data augmentation training under class imbalance

发现论文，激发创造

卷积神经网络中类别不平衡问题的系统研究

本研究系统地研究了类别不平衡对卷积神经网络分类性能的影响，并比较了几种解决该问题的常用方法。在使用三个基准数据集进行实验的过程中，研究者发现类别不平衡对分类性能有不利影响，而通过过采样的方法可以提高分类性能。同时，该研究还发现阈值补偿在一定场景下也能够提高分类性能。

Oct, 2017

不平衡深度学习的普洛克鲁斯特训练

本文提出了一个新的学习策略，来有效地解决在使用类不平衡数据时神经网络容易出现欠拟合和过拟合问题的困扰，该策略在小批量中混合了主类数据和其它数据的特征，旨在削弱主类数据的特征以防止神经网络优先拟合主类数据的情况，从而实现了类之间的训练过程平衡，并得到了在难度较大的数据集中的最新成果。

Apr, 2021

调整决策边界用于类别不平衡学习

本论文中，我们提出了一种新方法来解决神经网络训练中出现的类不平衡问题，这种方法旨在画出更好的决策边界并缩放权重向量，从而实现优秀的性能结果。

Dec, 2019

基于深度学习的自然语言处理中解决类别不平衡问题的方法综述

针对自然语言处理中的类别不平衡问题，本篇文章综述了基于深度学习的自然语言处理中的类别不平衡现状及其解决方法。通过对采样、数据增强、损失函数、分步学习和模型设计等方法的综述，提出了在多标签情况下处理类别不平衡问题的挑战和必要性，并提出系统化标准和报告的建议。

Oct, 2022

数据转换中的深度相似性学习损失函数对于类别不平衡问题的应用

使用深度神经网络通过三元损失函数对多类别不平衡数据进行分类，修改特征分布以生成安全的少数类样本邻域，实验证明该方法优于常见的预处理方法及传统神经网络。

Dec, 2023

通过联合生成和分类缓解数据集不平衡

本研究通过组合神经网络分类器和生成对抗网络技术提出了一种联合数据集修复策略，用于解决数据集不平衡所导致的性能下降和数据偏差问题，实验证明这种方法可以提高分类器和生成对抗网络的鲁棒性。

Aug, 2020

类别不平衡下神经网络的过拟合：分割任务的分析和改进

本文研究深度学习中的过拟合现象，并通过分析来自训练数据集和测试数据集的逻辑回归分布之间的变化来解释其在神经网络上的影响。作者针对深度学习中的图像分割任务，提出了针对少量数据样本的正则化模型，模仿少量数据情况下在测试集中出现的数据分布，用于减轻这种分布对模型性能的影响，实验结果证明该方法显著提高了模型在二进制分割图像任务中的性能。

Jul, 2019

恢复平衡：基于原则的数据欠采样 / 过采样用于最佳分类

在这项研究中，我们确定了线性分类器（支持向量机）在高维度情况下的泛化曲线的确切分析表达式，并对于数据的类别不平衡性、数据的第一和第二时刻以及所考虑的性能指标的影响给出了锐利的预测。我们表明，涉及数据的欠采样和过采样的混合策略会提高性能。通过数值实验，我们展示了我们理论预测在真实数据集、更深层次的架构和基于无监督概率模型的采样策略上的相关性。

May, 2024

影响平衡损失函数：解决不均衡视觉分类问题

我们提出了一种平衡训练方法，通过衍生用于平衡训练阶段的新丢失，有效改善任何类型的不平衡学习方法的性能，从而解决了数据不平衡问题。我们的实验结果表明，所提出的损失优于现有的基于成本的损失方法。此外，我们的损失并不限于特定任务、模型或训练方法，因此可以轻松地与其他最近的重新采样、元学习和基于成本的学习方法结合使用以解决类别不平衡问题。

Oct, 2021

改进长尾识别的校准

本文针对训练数据集不均衡和 miscalibration 等问题，设计了两种方法，分别为标签感知平滑和批次偏移规范化，并在多个长尾识别基准数据集上创造了新记录。

Apr, 2021