本论文提出一种分步训练深度神经网络的方法，称为渐进式提前停止（Progressive Early Stopping, PES），以对抗训练过程中的标签噪声。该方法可以显著提高图像分类质量，并结合现有标签噪声训练方法，达到了最新成果。

Jun, 2021

本文研究神经网络的训练，证明使用梯度下降法可以在一定的噪声或污染下保证稳健性，避免过拟合。

Mar, 2019

提出了一种新的框架 — 后期停止法，通过延长训练过程来利用 DNNs 的内在鲁棒学习能力，逐渐缩小嘈杂数据集并去除高概率错误标记的样本，由此保留了训练集中大部分的清洁困难样本，得到了在标准模拟和真实世界嘈杂数据集上优于现有方法的实验结果。

Aug, 2023

探讨在有噪声标签的情况下，过度参数化的深度神经网络的正则化方法，其中比较有效的包括参数与初始化之间的距离和为每个训练示例添加一个可训练的辅助变量，实验结果表明这些方法能够有效提高模型的泛化性，并且泛化误差的上界独立于网络的大小，可达到无噪声标签情况下的水平。

May, 2019

提出了一种基于早期学习的新型噪声分类技术框架，使用半监督学习的目标概率和正则化项，防止深层神经网络过于依赖错误标注而导致的过拟合现象。测试结果表明，该方法在多个标准基准数据集和实际数据集上均能达到与现有先进技术可比的鲁棒性。

Jun, 2020

本文提出了一种新的基于局部统计梯度的早期停止准则，该准则完全消除了验证集的需要，并在最小二乘法、逻辑回归和神经网络的情况下被证明是一种可行的方法。

Mar, 2017

当训练数据集中加入随机标签噪声时，神经网络在无噪声测试数据集上的预测错误率在早期训练时会先改善后恶化，表现出 U 形依赖于训练时间。我们的研究旨在探究这一现象背后的学习动态。我们理论上证明了，训练早期，梯度下降的更新方向由干净训练数据集确定，噪声样本集对其影响极小，导致了对干净数据的优先学习。此外，我们理论上和实验上表明，随着清洁优先学习的进行，干净样本的梯度优势逐渐减弱，最终导致清洁优先学习的终止和对噪声样本的拟合。

Jun, 2023

该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

May, 2017

重启训练在含有噪声标签的深度神经网络中显著提高泛化性能，通过近似随机梯度下降动力学为朗之万动力学，我们理论上证明了重启可以在批量大小和损坏数据比例增加时提供巨大改进。同时，我们实验证实了我们的理论，证明了通过重启可以显著改善性能，并且我们的方法容易实施且与其他方法兼容，是处理噪声标签的有价值工具。

Jun, 2024

本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

Dec, 2019