Jan, 2020

现实世界中基于权重的交叉熵损失函数：建模错标的成本

PDF
TL;DR该研究提出了一种新的度量分类器拟合度的度量标准 —— 实际成本函数，该函数结合了有关实际问题的信息，例如财务影响，以及用户更易于解释的特性。为了优化这个度量标准，作者介绍了基于实际成本函数的损失函数，并比较了损失函数的设计和已有的损失函数，通过 MNIST 数据集的模拟情境对其效果进行了实证研究。
real world cost functioncrossentropy loss functionprobabilistic false positivesmachine learningimbalanced classes
发现论文，激发创造
  • 度量优化的例子权重

    提出使用带权损失函数和标准损失函数来处理复杂测试度量和数据分布不一致问题，并且权重可以学习适应任何测试指标，公式支持的各个实际场景和标准数据集的实验结果表明该方法的性能得到重大改善并且还提供了一种方法的一般化范围。

    May, 2018

  • 度量学习的统一互信息视角：交叉熵 vs. 两两损失

    通过理论分析，该研究证明了交叉熵与多个已知的成对损失之间的关系，并提出将交叉熵最小化作为近似边界优化算法，从而避免了成对样本采集等复杂的优化技巧。研究通过在四个标准的深度度量学习基准测试中获得最新的结果，超越了最近和复杂的 DML 方法。

    Mar, 2020

  • 关于神经网络分类性能针对加权度量的全面理论优化框架

    本文提出了一种完整的理论框架来形式化加权分类度量标准，并构建了可优化这些度量标准的损失函数。该框架包括了经典的成本敏感学习、加权交叉熵损失函数和价值加权技能得分等方法作为特例。

    May, 2023

  • 使用不可分解目标训练超参数模型

    本文提出一种新的代价敏感损失函数，以解决标签代价权重重新加权训练在过度参数化模型中可能导致的问题，并进行了 ResNet 模型的实验验证。

    Jul, 2021

  • 交叉熵损失函数：理论分析与应用

    本文研究了广泛应用的交叉熵损失函数，提出了一族损失函数 comp-sum，包括了交叉熵、广义交叉熵、平均绝对误差等。我们首次给出了这些损失函数的 H - 相容性，进一步介绍了一种新的平滑对抗 comp-sum 损失函数，并证明了它们有助于在对抗性环境下提高模型的 H - 相容性。

    Apr, 2023

  • 深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性

    本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

    Jun, 2023

  • 在语义分割中实现平衡：召回损失

    本研究提出了一种基于瞬时召回表现动态加权的损失函数：hard-class mining loss，以解决计算机视觉应用程序（如语义分割）中的类别不平衡问题。研究结果表明，recall loss 可以在不影响准确度的情况下提高平均准确度，并具有与标准交叉熵损失相竞争的平均 Intersection over Union（IoU）性能。

    Jun, 2021

  • 使用 Wasserstein Loss 进行学习

    本文提出了一个基于 Wasserstein 距离的多标签学习损失函数，基于概率度量体提供了一种自然的概念。该算法可以有效鼓励模型在输出空间中使用所选度量的平滑性，并用 Yahoo Flickr Creative Commons 数据集上的标签预测问题验证了性能。

    Jun, 2015

  • 类别距离加权交叉熵损失用于溃疡性结肠炎严重程度评估

    研究使用新的损失函数：类距加权交叉熵 (CDW-CE)，从而更好地训练用于测量溃疡性结肠炎内窥镜活动的评分系统的深度学习模型，该方法考虑到分类之间的距离和顺序，从而在实验评价和领域专家中优于传统的分类交叉熵损失和其他常用损失函数。

    Feb, 2022

  • 多重损失加权与变异系数

    本文提出了一种利用方差系数确定权重，进而平衡单任务的多个损失函数的方法，并在深度估计和语义分割任务上进行了实验证明了可行性。

    Sep, 2020