本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題,針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。
Dec, 2019
本文提出一种噪声容忍的训练算法,其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练,该元学习方法训练模型,以便在使用每个设置的合成噪声标签进行一次梯度更新后,模型不会过度拟合特定的噪声,从而提高深度神经网络的性能。
Dec, 2018
本文综述了深度学习中标签噪声的学习问题,提供了 62 种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
探讨了深度学习中标签噪声的影响,特别是在医疗应用中,给出了针对性的解决方案和建议,以提高深度模型在医疗图像分析中的准确程度。
本文提出了一种基于深度神经网络的预测不确定性来识别训练数据中存在的噪声标签并通过迭代程序实现清洗的方法,该方法在 CIFAR-10 和 CIFAR-100 上有良好的性能表现。
May, 2019
本文提出了一种训练深度网络抵抗标签噪声的方法,通过引入非线性处理层(噪声模型)来将标签噪声的统计模型化到卷积神经网络中,通过实验证明这种方法使得 CNN 可以学习到更好的句子表示,即使在极端的标签噪声情况下仍然很稳健。同时,本文发现正确的噪声模型初始化和正则化对训练结果至关重要,而和图像分类不同的是,改变 batch size 并不会对分类性能有明显影响。
Mar, 2019
本研究证明,基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习,表现出良好的测试性能提升,这种学习需要增加数据集大小作为代价。
May, 2017
本研究分析了不同类型的标签噪声对深度学习的影响,提出了一种基于特征相关性的标签噪声生成方法,并提供了常用基准数据集的标签噪声以便其他研究人员测试其算法。
Mar, 2020
本论文探究了在实际情况中,数据标注不可避免地有可能存在噪声标签的情况下,利用引入噪声层的方法,在 Convolutional Network 模型上进行判别性训练以获得更好的性能。同时在多个数据集上进行了实验,包括在 ImageNet 分类基准测试上的大规模试验。
Jun, 2014
该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架,并使用一个无向图模型来描述干净和嘈杂标签之间的关系,在监督学习过程中学习这个模型。该模型在图像标注问题上应用,并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。