训练深度判别神经网络对抗标签噪声的鲁棒性

NIPSMay, 2017

训练深度判别神经网络对抗标签噪声的鲁棒性

Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks

Arash Vahdat

TL;DR该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

Abstract

Collecting large training datasets, annotated with high-quality labels, is costly and time-consuming. This paper proposes a novel framework for training deep convolutional neural networks from noisy labeled datasets

deep convolutional neural networks noisy labeled datasets undirected graphical model semi-supervised learning label noise reduction

发现论文，激发创造

使用有噪声的标签训练卷积神经网络

本论文探究了在实际情况中，数据标注不可避免地有可能存在噪声标签的情况下，利用引入噪声层的方法，在 Convolutional Network 模型上进行判别性训练以获得更好的性能。同时在多个数据集上进行了实验，包括在 ImageNet 分类基准测试上的大规模试验。

Jun, 2014

深度学习对大规模标签噪声具有强韧性

本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

May, 2017

从有噪标签的数据中进行深度自学习

提出了一种新的深度自学习框架，用于在真实嘈杂的数据集上训练鲁棒性网络，无需额外的监督，并且与大多数现有方法不同，它不依赖于嘈杂标签分布的任何假设，具有更好的性能。

Aug, 2019

从严重标签噪声中提炼有效的监督

该论文提出了一种全新的训练深度神经网络的方法，在标签噪音的情况下拥有高稳健性，通过利用小的可信集合来估计样本权重和伪标签以重复使用它们进行监督训练。该方法在各种类型的标签噪声和大规模真实世界标签噪声数据集上取得了最新的最优表现。

Oct, 2019

从含有噪声标签的数据中学习如何学习

本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

Dec, 2018

噪声鲁棒图像分类的协同网络学习和标签纠正

提出了一个深度学习神经网络的标签检查和修正方法，该方法结合了小损失选择和噪声校正的思想，采用两个不同的网络来通过小损失选择方法训练，并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度，在真实和人工数据集上测试表明该方法优于基准方法。

Feb, 2022

基于不确定性的噪声图像标签检测和重新标记

本文提出了一种基于深度神经网络的预测不确定性来识别训练数据中存在的噪声标签并通过迭代程序实现清洗的方法，该方法在 CIFAR-10 和 CIFAR-100 上有良好的性能表现。

May, 2019

深度学习下存在噪声标签的图像分类：综述

本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

Dec, 2019

DNN 文本分类的有效标签噪声模型

本文提出了一种训练深度网络抵抗标签噪声的方法，通过引入非线性处理层（噪声模型）来将标签噪声的统计模型化到卷积神经网络中，通过实验证明这种方法使得 CNN 可以学习到更好的句子表示，即使在极端的标签噪声情况下仍然很稳健。同时，本文发现正确的噪声模型初始化和正则化对训练结果至关重要，而和图像分类不同的是，改变 batch size 并不会对分类性能有明显影响。

Mar, 2019

对抗噪声标签的稳健特征学习

This paper proposes a method to improve the robustness of deep learning models in the presence of noisy labels by utilizing unsupervised learning and cluster regularization.

Jul, 2023