ICMLJun, 2020

深度学习中带有噪声标签的标准化损失函数

PDF
TL;DR本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为 Active Passive Loss（APL）的框架来构建稳健损失函数，其结合了两种互相促进的稳健损失函数。实验表明，我们的新的损失函数家族可以在大噪声率下始终优于现有方法。
robust loss functionsdeep neural networksnoisy labelsactive passive lossunderfitting
发现论文，激发创造
  • 深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性

    本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

    Jun, 2023

  • 深度神经网络中对标签噪声鲁棒的损失函数

    本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法，并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件，同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的，并且标准反向传播足以学习出真正的分类器。

    Dec, 2017

  • 训练带有噪声标签的决策树的鲁棒损失函数

    使用含噪标记数据训练决策树，研究能够导致健壮学习算法的损失函数。首先，我们在决策树学习领域提供了有关许多现有损失函数健壮性的新理论见解。其次，我们介绍了一种构建健壮损失函数的框架，称为分布损失。最后，我们的多个数据集和噪声设置上的实验证实了我们的理论洞察力和自适应负指数损失的有效性。

    Dec, 2023

  • 非对称损失函数用于噪声标签学习

    通过研究损失函数的对称性，提出了一种新的损失函数 —— 非对称损失函数，用于稳健的神经网络训练，得出了其理论性质和实验结果。

    Jun, 2021

  • 无噪声标签训练深度神经网络的广义交叉熵损失

    本文提出一些理论上支持的噪声稳健损失函数，包括平均绝对误差以及交叉熵损失函数，并已在 CIFAR-10，CIFAR-100 与 FASHION-MNIST 数据集及人工产生的噪声标签上进行了实验，结果表明这些损失函数能够有效应对各种噪声标签情况。

    May, 2018

  • 通过稀疏正则化进行有噪标签学习

    本文提出一种基于限制网络输出在固定向量置换集合上的稀疏正则化策略，旨在解决标签噪声存在时常用精度损失函数容易过拟合或欠拟合的问题，结果表明该方法在存在噪声标签和类不平衡情况下能够显著提高精度和优于现有方法。

    Jul, 2021

  • 使深度神经网络对标签噪声具有鲁棒性：一种损失修正方法

    该论文提出了一种基于理论的方法来训练深度神经网络，包括循环网络，使其适用于存在类别相关标签噪声的情况，并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。

    Sep, 2016

  • 同伴损失函数：在不知道噪声比率的情况下从有噪标签中学习

    本文提出一种新的损失函数家族 -- 对等损失函数，用于解决监督学习中的噪声标签问题，不需要事先指定噪声率，可以获得与训练数据相同的最优分类器，并进行了大量实验验证，是解决标签可能含有噪声的训练中的一种稳健方法。

    Oct, 2019

  • 利用带噪标签训练的深度神经网络及其应用

    本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

    May, 2019

  • 稳健损失函数的课程视角

    本文研究了鲁棒损失函数在标签噪声下的训练动态，通过重新表示大多数损失函数为具有相同类得分边界和不同样本加权函数的形式，提供了对训练动态的直观分析，证明了简单的修复可使欠拟合的鲁棒损失函数竞争力与最先进的方法相当，而训练时间表可以明显影响噪声鲁棒性，即使使用鲁棒损失函数。

    May, 2023