基于小损失准则的噪声标签深度学习理解

IJCAIJun, 2021

基于小损失准则的噪声标签深度学习理解

Towards Understanding Deep Learning from Noisy Labels with Small-Loss Criterion

Xian-Jin Gui, Wei Wang, Zhang-Hao Tian

TL;DR本文从理论上解释了小 LOSS 原则在处理噪声标签时的有效性，并基于此对其进行了形式化重新定义以更好地解决噪声问题。实验结果证明了我们的理论解释，并证明了重新定义后的小 LOSS 原则的有效性。

Abstract

deep neural networks need large amounts of labeled data to achieve good performance. In real-world applications, labels are usually collected from non-experts such as crowdsourcing to save cost and thus are noisy. In the past few years, deep learning methods for dealing with

deep neural networks noisy labels small-loss criterion theoretical analysis reformalization

发现论文，激发创造

深度神经网络中的噪声标签学习：综述

本文综述了深度学习中标签噪声的学习问题，提供了 62 种最新的鲁棒训练方法，并系统性比较了六个评估指标。同时，分析了噪声估计率和评估方法，并提出了未来的几个研究方向。

Jul, 2020

训练深度判别神经网络对抗标签噪声的鲁棒性

该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

May, 2017

利用带噪标签训练的深度神经网络及其应用

本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

May, 2019

从含有噪声标签的数据中学习如何学习

本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

Dec, 2018

深度学习对大规模标签噪声具有强韧性

本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

May, 2017

从有噪标签的数据中进行深度自学习

提出了一种新的深度自学习框架，用于在真实嘈杂的数据集上训练鲁棒性网络，无需额外的监督，并且与大多数现有方法不同，它不依赖于嘈杂标签分布的任何假设，具有更好的性能。

Aug, 2019

深度学习下存在噪声标签的图像分类：综述

本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

Dec, 2019

使用 Dropout 正则化从嘈杂标签中学习深度网络

该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

May, 2017

噪声标签的误差有界修正

本文介绍了针对大规模标注数据不可避免存在 label noise 问题时，通过使用 noisy classifiers 算法来提高模型鲁棒性，进而讲解了该算法的理论解释，并提出了一种基于该算法的标签校正方法，结合深度神经网络，成功提升了测试性能。

Nov, 2020

深度神经网络中对标签噪声鲁棒的损失函数

本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法，并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件，同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的，并且标准反向传播足以学习出真正的分类器。

Dec, 2017