图像分类中重新思考特征分布的损失函数

CVPRMar, 2018

图像分类中重新思考特征分布的损失函数

Rethinking Feature Distribution for Loss Functions in Image Classification

Weitao Wan, Yuanyi Zhong, Tianpeng Li, Jiansheng Chen

TL;DR本研究提出了一种基于大边界高斯混合（L-GM）损失函数的深度神经网络分类方法，相较于常规的 softmax cross-entropy 损失函数，通过加入分类边界和似然正则化，提高了分类准确性以及对于训练特征分布的建模精度，可以用于区分异常输入如对抗性样本等。经过 MNIST、CIFAR、ImageNet 和 LFW 等基准测试和对抗性样本测试，证明了本方法的有效性。

Abstract

We propose a large-margin Gaussian Mixture (L-GM) loss for deep neural networks in classification tasks. Different from the softmax cross-entropy loss, our proposal is established on the assumption that the deep features of the training set follow a Gaussian Mixture distribution. By in

large-margin gaussian mixture loss deep neural networks classification likelihood regularization adversarial examples

发现论文，激发创造

卷积神经网络大边界 Softmax 损失

本文提出了 L-Softmax loss 作为一种广义的大边际 softmax（L-Softmax）损失函数，可以显式地鼓励所学特征的类内紧密性和类间可分性，并且能够调整想要的边际并避免过拟合，并在四个基准数据集上进行了广泛实验，结果表明使用 L-Softmax 且深度学习的特征更具有区分度，从而大大提高了各种视觉分类和验证任务的性能。

Dec, 2016

学习最大边界

本文提出采用最大化间隔损失的优化目标，定义类间隔与样本间隔，推导出广义的间隔 softmax 损失，并在此基础上设计出新工具，即样本间隔正则化、适用于类均衡情形的最大间隔 softmax 损失和适用于类不平衡情形的零中心正则化。实验结果表明，本文的方法对于视觉分类、样本不平衡分类、人员重新识别和人脸验证等任务具有很好的效果。

Jun, 2022

分类边界的分布：所有数据是否平等？

通过对深度神经网络上梯度下降算法的实证研究发现，通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法，并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界，但其高容量特征并不一致。

Jul, 2021

分类的大边缘判别损失

这篇论文介绍了一种在深度学习背景下具有较大边界的新型判别性损失函数，通过提高神经网络的判别能力，即类内紧凑性和类间可分性，来优化特征空间，同时通过数学分析关系、设计策略和研究泛化误差，提高模型的测试准确性。

May, 2024

基于误分类向量引导的人脸识别 Softmax 损失

本论文提出了一种新的适应性损失函数，该函数强调错分特征向量以指导较有区别的特征学习，从而解决传统损失函数在面部识别中存在的问题，并在多个基准测试上取得了比其他先进替代方案更有效的实验结果。

Nov, 2019

使用边界分布预测深度网络中的泛化差距

该论文研究发现，交叉熵等损失函数不能很好地预测深度神经网络的泛化能力，作者提出了一种基于边缘分布的测量方法，它可以被应用在任何架构的前馈深度网络上，并指出这个方法可能会提示新的训练损失函数的设计来实现更好的泛化。

Sep, 2018

用于分类的大边际深度网络

本篇论文提出了一种新的损失函数，通过对深度神经网络中任意一组层（包括输入和隐藏层）的度量度量范数施加边缘来实现任意选择度量的边缘的深度网络。本文的损失具有较好的特性，适用于小训练集，分类和鲁棒性等任务，与现有数据扩增和正则化技术相辅相成。

Mar, 2018

复合批标准化用于长尾图像分类

提出了一种基于高斯混合模型的复合批量归一化方法来解决长尾数据分布下神经网络中特征标准化的问题，并通过使用类感知分裂特征标准化的双路径学习框架来多样化估计高斯分布，以更全面地适应训练样本的处理方式。在多个普遍使用的数据集上的广泛实验表明，该方法在长尾图像分类上优于现有方法。

Dec, 2022

强化区分度的损失函数以提高表示学习

通过引入 Gini impurity 所启发的新损失项和最小化两个高级特征分布之间的 Kullback-Leibler 散度，我们在两个图像分类数据集上进行了实验，并得出结论，将我们的新损失项集成到训练目标中始终优于仅使用交叉熵训练的模型，在不增加推理时间的情况下。

Feb, 2022

基于进化算法辅助深度神经网络的非平衡图像分类分布学习

提出了一种在特征级别而非数据级别上基于过采样的解决不平衡分类任务中生成图像的质量多样性平衡问题的方法，并在这一基础上，设计了一种改进的估算分布算法，即基于潜在特征分布演化的改进估算分布算法 (MEDA_LUDE)。大量实验验证了所提出的算法的有效性，并成功地应用于工业领域中的织物缺陷分类。

Jul, 2022