深度学习对大规模标签噪声具有强韧性
本论文探究了在实际情况中,数据标注不可避免地有可能存在噪声标签的情况下,利用引入噪声层的方法,在Convolutional Network模型上进行判别性训练以获得更好的性能。同时在多个数据集上进行了实验,包括在ImageNet分类基准测试上的大规模试验。
Jun, 2014
本文提出了一种在深度神经网络分类器中使用有信任子集数据以及基于损失修正技术的方法,大大提高了分类器对标签噪声的鲁棒性。实验结果表明,该方法在视觉和自然语言处理任务中均取得了较好的性能表现。
Feb, 2018
本文提出了一种训练深度网络抵抗标签噪声的方法,通过引入非线性处理层(噪声模型)来将标签噪声的统计模型化到卷积神经网络中,通过实验证明这种方法使得CNN可以学习到更好的句子表示,即使在极端的标签噪声情况下仍然很稳健。同时,本文发现正确的噪声模型初始化和正则化对训练结果至关重要,而和图像分类不同的是,改变batch size并不会对分类性能有明显影响。
Mar, 2019
本研究分析了不同类型的标签噪声对深度学习的影响,提出了一种基于特征相关性的标签噪声生成方法,并提供了常用基准数据集的标签噪声以便其他研究人员测试其算法。
Mar, 2020
本文综述了深度学习中标签噪声的学习问题,提供了62种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
提出了一种基于coresets和梯度下降的方法来处理具有噪声标签的深度神经网络的鲁棒性训练问题,并证明该方法不会过拟合噪声标签,实验证明该方法取得了诸如在CIFAR-10上以80%噪声标签训练后,准确度提高了6%,在mini Webvision上准确度提高了7%的显着优异表现。
Nov, 2020
本文从理论上解释了小LOSS原则在处理噪声标签时的有效性,并基于此对其进行了形式化重新定义以更好地解决噪声问题。实验结果证明了我们的理论解释,并证明了重新定义后的小LOSS原则的有效性。
Jun, 2021
对于计算机视觉任务尤其是图像分类任务,本综述全面回顾了应对噪声标签的不同深度学习方法的演变,研究了不同的噪声模式,并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式,以形成一个新的以真实世界数据为指导的合成基准,并在该基准上评估了一些典型的噪声鲁棒方法。
Apr, 2024