该篇论文提出了一种纠正深度神经网络中标签不准确的技术:通过增加一个噪声模型的softmax层,采用端到端的随机梯度下降来优化网络以及噪声模型,借助dropout正则化防止噪声模型过于简单。在CIFAR-10和MNIST数据集上的数值实验显示,该dropout技术优于最先进的方法。
May, 2017
本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法,并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件,同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的,并且标准反向传播足以学习出真正的分类器。
Dec, 2017
本文提出了一种名为Symmetric cross entropy Learning的深度神经网络学习方法,通过将Cross Entropy与Reverse Cross Entropy相结合,解决了在标签噪声存在下CE的过拟合与欠拟合问题,并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。
Aug, 2019
本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为Active Passive Loss(APL)的框架来构建稳健损失函数,其结合了两种互相促进的稳健损失函数。实验表明,我们的新的损失函数家族可以在大噪声率下始终优于现有方法。
Jun, 2020
本文综述了深度学习中标签噪声的学习问题,提供了62种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
本研究探讨利用输出正则化来缓解标签噪声对于损失函数的影响,发现当正则化系数趋于无穷大时,这些损失函数变得对称且稳健。因此,正则化系数可以被看作控制对称性和噪声鲁棒性的超参数。
Apr, 2021
本论文实验证明,鼓励一致性规则的简单损失函数可以显著提高模型对噪声标签的鲁棒性。
Oct, 2021
为解决对于干扰数据的过度拟合而影响泛化效果,我们提出了一种基于稀疏过参数化和隐式正则化的优化方案,通过对标签噪声进行建模和分离,实现了对于训练数据中的噪声数据清洗,最终获得了在多个真实数据集上较先进的测试结果,同时为优化过度参数化模型开辟了许多有趣的方向。
Feb, 2022
本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数,并研究了该损失函数的应用及如何选择适当的损失函数,在 cifar-100 数据集上表现出色,此外还提出了一种新的 Bounded Cross Entropy 损失函数。
Jun, 2023
本研究表明,使用交叉熵损失结合常用的正则化策略,如学习率下降、模型权重平均和数据增强等,可以优于最先进的方法,在处理学习噪声标签的挑战时,采用一种正则化策略组合可能比复杂的算法更有效。
Jul, 2023