Sep, 2019

L_DMI：一种信息论噪声鲁棒损失函数

HTML
PDF
TL;DR本文提出一种新的信息论损失函数 L_DMI，其核心思想是一个广义版本的互信息算法 DMI，该损失函数可用于对深度神经网络进行标签噪声训练，不受噪声模式影响，具有理论保证，并能直接应用于现有分类神经网络。使用 L_DMI 在包括 Fashion-MNIST、CIFAR-10、Dogs vs. Cats、MR 等图像数据集和自然语言数据集以及真实数据集 Clothing1M 的各种合成噪声模式和噪声量下的分类任务中优于所有其他对手。
发现论文，激发创造
  • 损失分解、弱监督学习和标签噪声鲁棒性

    本文证明了大多数知名损失函数的经验风险因子可分为线性项，聚合所有标签和不涉及标签的项，并且可以进一步表示为损失的和。这适用于任何RKHS中的非光滑、非凸损失。通过估计平均操作符，本研究揭示了这种分解的变量的充分统计量，并将其应用于弱监督学习。最后，本文展示了大多数损失都享有一种依赖于数据的（通过平均算子）噪声鲁棒性。

    Feb, 2016

  • 使深度神经网络对标签噪声具有鲁棒性：一种损失修正方法

    该论文提出了一种基于理论的方法来训练深度神经网络，包括循环网络，使其适用于存在类别相关标签噪声的情况，并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。

    Sep, 2016

  • 深度神经网络中对标签噪声鲁棒的损失函数

    本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法，并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件，同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的，并且标准反向传播足以学习出真正的分类器。

    Dec, 2017

  • 无噪声标签训练深度神经网络的广义交叉熵损失

    本文提出一些理论上支持的噪声稳健损失函数，包括平均绝对误差以及交叉熵损失函数，并已在CIFAR-10，CIFAR-100与FASHION-MNIST数据集及人工产生的噪声标签上进行了实验，结果表明这些损失函数能够有效应对各种噪声标签情况。

    May, 2018

  • 同伴损失函数：在不知道噪声比率的情况下从有噪标签中学习

    本文提出一种新的损失函数家族--对等损失函数，用于解决监督学习中的噪声标签问题，不需要事先指定噪声率，可以获得与训练数据相同的最优分类器，并进行了大量实验验证，是解决标签可能含有噪声的训练中的一种稳健方法。

    Oct, 2019

  • 深度学习中带有噪声标签的标准化损失函数

    本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为Active Passive Loss（APL）的框架来构建稳健损失函数，其结合了两种互相促进的稳健损失函数。实验表明，我们的新的损失函数家族可以在大噪声率下始终优于现有方法。

    Jun, 2020

  • 深度神经网络中的噪声标签学习：综述

    本文综述了深度学习中标签噪声的学习问题，提供了62种最新的鲁棒训练方法，并系统性比较了六个评估指标。同时，分析了噪声估计率和评估方法，并提出了未来的几个研究方向。

    Jul, 2020

  • 非对称损失函数用于噪声标签学习

    通过研究损失函数的对称性，提出了一种新的损失函数——非对称损失函数，用于稳健的神经网络训练，得出了其理论性质和实验结果。

    Jun, 2021

  • 通过稀疏正则化进行有噪标签学习

    本文提出一种基于限制网络输出在固定向量置换集合上的稀疏正则化策略，旨在解决标签噪声存在时常用精度损失函数容易过拟合或欠拟合的问题，结果表明该方法在存在噪声标签和类不平衡情况下能够显著提高精度和优于现有方法。

    Jul, 2021

  • 深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性

    本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

    Jun, 2023