AAAIMar, 2020

深度神经网络中用于逻辑斯谛回归和 Softmax 回归的损失函数学习性质

PDF
TL;DR本研究分析了通过逻辑回归和 softmax 损失训练的深度卷积神经网络，证明了经 class-wise 重新加权的损失函数可以帮助解决类别不平衡问题，提高了二分类。我们还提出了一种新的重新加权的逻辑回归损失函数用于解决多类别分类问题，特别是一对多方法中的负类别问题，有望成为与 softmax 损失函数相竞争的有效方法。
convolutional neural networkslogistic and softmax lossesclass imbalanceclass-wise reweighted versionvisual recognition tasks
发现论文，激发创造
  • 卷积神经网络大边界 Softmax 损失

    本文提出了 L-Softmax loss 作为一种广义的大边际 softmax（L-Softmax）损失函数，可以显式地鼓励所学特征的类内紧密性和类间可分性，并且能够调整想要的边际并避免过拟合，并在四个基准数据集上进行了广泛实验，结果表明使用 L-Softmax 且深度学习的特征更具有区分度，从而大大提高了各种视觉分类和验证任务的性能。

    Dec, 2016

  • 不平衡学习中加权重和对数调整的统一概化分析

    通过对失衡学习的概括分析和数据依赖性收缩等技术，建立了一个精细的不平衡学习泛化界限，进一步揭示了重新加权和逻辑调整的原理，并开发了一个基于理论洞察的原则学习算法。

    Oct, 2023

  • 使用不可分解目标训练超参数模型

    本文提出一种新的代价敏感损失函数，以解决标签代价权重重新加权训练在过度参数化模型中可能导致的问题，并进行了 ResNet 模型的实验验证。

    Jul, 2021

  • 深度神经网络及对数损失的分类

    使用逻辑损失训练的深度神经网络（DNN）在各种二元分类任务中取得了令人印象深刻的进展，然而，关于 DNN 和逻辑损失的二元分类的泛化分析仍然很少。本文旨在通过建立一种新颖而优雅的 oracle-type 不等式，并利用它推导全连接的 ReLU DNN 分类器在逻辑损失下的尖锐收敛速率，以填补这一空白。此结果解释了为什么 DNN 分类器在实际高维分类问题中表现良好。

    Jul, 2023

  • 属于球面损失家族的 Softmax 替代方案探究

    该论文研究了一些来自球形家族的损失函数，探讨它们是否可以替代传统的 log-softmax 损失函数，并发现这些替代方案在 MNIST 和 CIFAR-10 上的表现优于传统的损失函数。

    Nov, 2015

  • 稳健对数损失分类的公平性

    采用最坏情况下的对数损失最小化方法将公平性标准纳入分布鲁棒性的第一原则，并基于此原则推导出一种新的分类器，该方法具有凸性和渐近收敛性，并在三个基准公平数据集上展示了其实践优势。

    Mar, 2019

  • 图像分类的组合软间隔 softmax 损失

    提出了一种新的损失函数，EM-Softmax，用于训练 CNN 模型的分类任务，以解决 softmax loss 在特征区分度和分类器弱点方面的局限性，并使用 Hilbert-Schmidt 独立性准则构建弱分类器的集合，通过实验验证其优于当前状态下的 softmax loss 和其他一些算法的性能。

    May, 2018

  • 基于调整逻辑回归的 Softmax 的在线持续学习

    我们提出了一种在线持续学习的方法，在训练过程中通过调整模型的 logits 来抵抗类别先验偏差并追求贝叶斯最优分类器，从而有效缓解了类间不平衡对模型性能的影响。

    Nov, 2023

  • 深度神经网络的对比中心损失

    本文提出了一种新的辅助监督信号 —— 对比中心损失，它能够进一步增强特征的区分能力，通过惩罚训练样本到它们对应类别中心距离的对比值和样本到非对应类别中心距离之和的对比值同时考虑了类内紧凑性和类间可分性。在不同的数据集上的实验证明了对比中心损失的有效性。

    Jul, 2017

  • 使用深度逻辑回归进行单标签多类图像分类

    通过对 softmax 和 logistic 回归进行分析，本篇论文提出了两种新的回归函数用于单标签分类，并解决了 LR 中存在的负类干扰问题，实验证明这些函数在单标签分类中具有很好的性能。

    Nov, 2018