为了解决深度学习在类别分布不平衡的情况下训练表现差的问题,本研究提出了两种新的方法:一、设计了基于理论的标签分布感知边界 (LDAM) 损失函数;二、提出了一种简单而有效的训练策略来推迟重新加权,并在减轻权重的复杂性的同时实现模型对初始表示的学习,实验结果表明这两种方法能够提高模型性能。
Jun, 2019
本文提出了一种新的针对非均衡分类的损失函数 LDAM loss,同时提出了一种扩大较大边界的 ELM loss,并通过对非均衡 CIFAR 数据集和长尾分布大规模数据集的实验验证,证明了相较于标准的 LDAM loss 和传统的非均衡分类损失函数,该方法能够显著提高分类准确度。
Jun, 2023
本论文提出了一种基于单一公式的杂交损失函数,该函数在分类和聚类之间进行联合,并提高了分类器在不平衡数据集上的泛化能力,可以支持多个类别原型,具有视觉分类和验证任务的显着性能改进。
Jan, 2019
多边界损失(MML)是一种简单而有效的损失函数,通过引入多个边界和变化的负样本权重,解决了资源有限时的挑战,并在两个知名数据集上实验证明,在使用更少的负样本时,MML 相对于基准对比损失函数取得了高达 20%的性能提升。
May, 2024
该研究提出了一种新的最小间隔损失函数 (MML),用于增强深度特征的区分能力,该方法能够取得最先进的性能表现。
May, 2018
本文提出采用最大化间隔损失的优化目标,定义类间隔与样本间隔,推导出广义的间隔 softmax 损失,并在此基础上设计出新工具,即样本间隔正则化、适用于类均衡情形的最大间隔 softmax 损失和适用于类不平衡情形的零中心正则化。实验结果表明,本文的方法对于视觉分类、样本不平衡分类、人员重新识别和人脸验证等任务具有很好的效果。
Jun, 2022
本文介绍了基于边缘分布优化的大边缘分布机(Large margin Distribution Machine,LDM)学习算法,提高了支持向量机算法的泛化性能,该方法通过边缘分布的一阶和二阶统计量,即边缘均值和方差来表征模型,且其在理论和实验上的优越性得到了证明。
Nov, 2013
该研究从最大化边界的角度研究了神经网络的对抗鲁棒性,并提出了 Max-Margin Adversarial(MMA)训练方法,以直接最大化边界来实现对抗鲁棒性,通过该方法在 MNIST 和 CIFAR10 数据集中实现了 robust 性
Dec, 2018
这篇论文介绍了一种在深度学习背景下具有较大边界的新型判别性损失函数,通过提高神经网络的判别能力,即类内紧凑性和类间可分性,来优化特征空间,同时通过数学分析关系、设计策略和研究泛化误差,提高模型的测试准确性。
本文介绍了一种新的深度生成模型 (DGMs) - max-margin deep generative models (mmDGMs) 和 class-conditional variant (mmDCGMs),它们同时保留了生成性和判别性,通过最大间隔学习来提高模型的预测性能,并且在半监督学习中利用了最大间隔分类器来代替全局后验推断从而提高学习效率。在各种数据集上的实验结果表明,这种方法可以明显地提高模型的预测性能。
Nov, 2016