调整决策边界用于类别不平衡学习
本文提出了一个新的学习策略,来有效地解决在使用类不平衡数据时神经网络容易出现欠拟合和过拟合问题的困扰,该策略在小批量中混合了主类数据和其它数据的特征,旨在削弱主类数据的特征以防止神经网络优先拟合主类数据的情况,从而实现了类之间的训练过程平衡,并得到了在难度较大的数据集中的最新成果。
Apr, 2021
现实世界的数据集通常存在严重的类别不平衡问题,通过调整标准深度学习流程的现有组件,如批次大小、数据增强、优化器和标签平滑等,可以实现无需专门的类别不平衡方法即可达到最先进的性能,并提供了关于训练类别不平衡的关键建议和考虑因素,以及关于为什么类别不平衡方法成功或失败的理解。
Dec, 2023
使用深度神经网络通过三元损失函数对多类别不平衡数据进行分类,修改特征分布以生成安全的少数类样本邻域,实验证明该方法优于常见的预处理方法及传统神经网络。
Dec, 2023
本研究采用各种经典策略验证了其在类不平衡数据的表示学习有效性,并展示了同时在和类内外保持间隔的约束下学习更具有区分性的深度表示的方法:Cluster-based Large Margin Local Embedding (CLMLE),结合简单的 k 近邻聚类算法,改善了三维面部识别和面部属性预测任务中现有方法的准确性。
Jun, 2018
为了解决深度学习在类别分布不平衡的情况下训练表现差的问题,本研究提出了两种新的方法:一、设计了基于理论的标签分布感知边界 (LDAM) 损失函数;二、提出了一种简单而有效的训练策略来推迟重新加权,并在减轻权重的复杂性的同时实现模型对初始表示的学习,实验结果表明这两种方法能够提高模型性能。
Jun, 2019
我们提出了一种平衡训练方法,通过衍生用于平衡训练阶段的新丢失,有效改善任何类型的不平衡学习方法的性能,从而解决了数据不平衡问题。我们的实验结果表明,所提出的损失优于现有的基于成本的损失方法。此外,我们的损失并不限于特定任务、模型或训练方法,因此可以轻松地与其他最近的重新采样、元学习和基于成本的学习方法结合使用以解决类别不平衡问题。
Oct, 2021
神经网络训练中,决策边界位于训练数据密度低的区域,受到少数训练样本的影响容易导致过度拟合;我们提供了一种简单的算法,通过对样本及其最近邻的预测(在潜在空间中计算)进行加权平均,以优化神经网络在标签噪声、对抗攻击、分类准确性等方面的性能。
Oct, 2023
该研究提出了一种基于成本敏感深度神经网络的方法,可以在不改变原始数据分布的情况下解决类别不均衡的问题,并在六个主要图像分类数据集上进行了实验证明其明显优于现有方法。
Aug, 2015
本文研究深度学习中的过拟合现象,并通过分析来自训练数据集和测试数据集的逻辑回归分布之间的变化来解释其在神经网络上的影响。作者针对深度学习中的图像分割任务,提出了针对少量数据样本的正则化模型,模仿少量数据情况下在测试集中出现的数据分布,用于减轻这种分布对模型性能的影响,实验结果证明该方法显著提高了模型在二进制分割图像任务中的性能。
Jul, 2019