使用有噪声的标签训练卷积神经网络
该篇论文提出了一种纠正深度神经网络中标签不准确的技术:通过增加一个噪声模型的softmax层,采用端到端的随机梯度下降来优化网络以及噪声模型,借助dropout正则化防止噪声模型过于简单。在CIFAR-10和MNIST数据集上的数值实验显示,该dropout技术优于最先进的方法。
May, 2017
本研究证明,基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习,表现出良好的测试性能提升,这种学习需要增加数据集大小作为代价。
May, 2017
该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架,并使用一个无向图模型来描述干净和嘈杂标签之间的关系,在监督学习过程中学习这个模型。该模型在图像标注问题上应用,并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。
May, 2017
本研究提出了一种应对嘈杂标签的无监督半监督深度神经网络学习框架,通过在噪声图像标注中识别出标签准确度较高的部分数据,并利用半监督学习方式训练深度神经网络以更好地利用整个数据集。
Feb, 2018
本研究着重研究了KNN和DNN在存在标记噪声的情况下的分类性能,提出了逼近于KNN的DNN误差表达式,证明了DNN在某些类型标签噪声情况下的惊人鲁棒性,并说明了噪声越集中性能下降越明显的重要因素。
Mar, 2018
本文提出了一种训练深度网络抵抗标签噪声的方法,通过引入非线性处理层(噪声模型)来将标签噪声的统计模型化到卷积神经网络中,通过实验证明这种方法使得CNN可以学习到更好的句子表示,即使在极端的标签噪声情况下仍然很稳健。同时,本文发现正确的噪声模型初始化和正则化对训练结果至关重要,而和图像分类不同的是,改变batch size并不会对分类性能有明显影响。
Mar, 2019
本文综述了深度学习中标签噪声的学习问题,提供了62种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
本文从理论上解释了小LOSS原则在处理噪声标签时的有效性,并基于此对其进行了形式化重新定义以更好地解决噪声问题。实验结果证明了我们的理论解释,并证明了重新定义后的小LOSS原则的有效性。
Jun, 2021
对于计算机视觉任务尤其是图像分类任务,本综述全面回顾了应对噪声标签的不同深度学习方法的演变,研究了不同的噪声模式,并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式,以形成一个新的以真实世界数据为指导的合成基准,并在该基准上评估了一些典型的噪声鲁棒方法。
Apr, 2024