使用 Dropout 正则化从嘈杂标签中学习深度网络

May, 2017

使用 Dropout 正则化从嘈杂标签中学习深度网络

Learning Deep Networks from Noisy Labels with Dropout Regularization

Ishan Jindal, Matthew Nokleby, Xuewen Chen

TL;DR该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

Abstract

Large datasets often have unreliable labels-such as those obtained from Amazon's Mechanical Turk or social media platforms-and classifiers trained on mislabeled datasets often exhibit poor performance. We present a simple, effective technique for accounting for label noise when trainin

label noise deep neural networks softmax layer dropout regularization mislabeling

发现论文，激发创造

通过噪声使深度神经网络规则化：解释和优化

通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。

Oct, 2017

从含有噪声标签的数据中学习如何学习

本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

Dec, 2018

深度学习对大规模标签噪声具有强韧性

本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

May, 2017

通过过度参数化实现标签噪音下的稳健训练

为解决对于干扰数据的过度拟合而影响泛化效果，我们提出了一种基于稀疏过参数化和隐式正则化的优化方案，通过对标签噪声进行建模和分离，实现了对于训练数据中的噪声数据清洗，最终获得了在多个真实数据集上较先进的测试结果，同时为优化过度参数化模型开辟了许多有趣的方向。

Feb, 2022

使用自助法训练带有噪声标签的深度神经网络

该研究提出了一种通用的方法来处理噪声和不完整标记，通过增强具有一致性概念的预测目标，实现相似感知的相同预测。在多个数据集上的实验表明，该方法可以显著提高模型的标签鲁棒性和识别准确率，同时对未标记面部图像也有较好的效果。

Dec, 2014

训练深度判别神经网络对抗标签噪声的鲁棒性

该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

May, 2017

深度学习下存在噪声标签的图像分类：综述

本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

Dec, 2019

发挥正则化策略在具有噪声标签的学习中的潜力

本研究表明，使用交叉熵损失结合常用的正则化策略，如学习率下降、模型权重平均和数据增强等，可以优于最先进的方法，在处理学习噪声标签的挑战时，采用一种正则化策略组合可能比复杂的算法更有效。

Jul, 2023

早期学习规范化防止对噪声标签的记忆化

提出了一种基于早期学习的新型噪声分类技术框架，使用半监督学习的目标概率和正则化项，防止深层神经网络过于依赖错误标注而导致的过拟合现象。测试结果表明，该方法在多个标准基准数据集和实际数据集上均能达到与现有先进技术可比的鲁棒性。

Jun, 2020

基于不确定性的噪声图像标签检测和重新标记

本文提出了一种基于深度神经网络的预测不确定性来识别训练数据中存在的噪声标签并通过迭代程序实现清洗的方法，该方法在 CIFAR-10 和 CIFAR-100 上有良好的性能表现。

May, 2019