该论文提出了一种叫做 Prestopping 的新的两个阶段的训练方法，它能够在任何类型的噪声标签下实现无噪声训练，并且通过对四个图像基准数据集的广泛实验证明，在真实世界噪声的存在下，我们的方法的测试效果比四种最先进的方法提高了 0.4-8.2 个百分点。

Nov, 2019

提出了一种新的框架 — 后期停止法，通过延长训练过程来利用 DNNs 的内在鲁棒学习能力，逐渐缩小嘈杂数据集并去除高概率错误标记的样本，由此保留了训练集中大部分的清洁困难样本，得到了在标准模拟和真实世界嘈杂数据集上优于现有方法的实验结果。

Aug, 2023

本研究提出了一种称为 PADDLES 的方法，通过使用离散傅里叶变换（DFT）将某些层的特征分解为振幅谱（AS）和相位谱（PS），在训练期间分别在不同的时间点停止 AS 和 PS 的训练，以提高 CNNs 对标签噪声的鲁棒性。在合成和现实标签噪声数据集上，PADDLES 的表现超过了其他早期停止方法，并实现了最先进的性能。

Dec, 2022

本文研究神经网络的训练，证明使用梯度下降法可以在一定的噪声或污染下保证稳健性，避免过拟合。

Mar, 2019

提出了一种基于早期学习的新型噪声分类技术框架，使用半监督学习的目标概率和正则化项，防止深层神经网络过于依赖错误标注而导致的过拟合现象。测试结果表明，该方法在多个标准基准数据集和实际数据集上均能达到与现有先进技术可比的鲁棒性。

Jun, 2020

使用 self-ensemble 标签过滤方法对深度神经网络在噪声标签下的学习进行改进，通过逐渐过滤错误标签来提高任务性能，同时在无监督损失中利用这些数据进行半监督学习，并在不同的数据集和噪声比率下优于以前所有的噪声感知学习。

Oct, 2019

本文介绍了利用预训练神经网络和基于神经体系结构搜索的两阶段微调概念，使用突变方法和提前终止搜索等策略，实验结果表明我们的方法减少了 32.4％的计算成本和 22.3％的搜索成本。

Feb, 2022

本文探讨了过度参数化模型，特别是深度神经网络，在训练期间错误率的演化现象，其原因是来自于不同部分在不同时期学习带来的偏差 - 方差权衡嵌套问题。通过合理调整步长，可以显著提高早停指标。

Jul, 2020

该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

May, 2017

当训练数据集中加入随机标签噪声时，神经网络在无噪声测试数据集上的预测错误率在早期训练时会先改善后恶化，表现出 U 形依赖于训练时间。我们的研究旨在探究这一现象背后的学习动态。我们理论上证明了，训练早期，梯度下降的更新方向由干净训练数据集确定，噪声样本集对其影响极小，导致了对干净数据的优先学习。此外，我们理论上和实验上表明，随着清洁优先学习的进行，干净样本的梯度优势逐渐减弱，最终导致清洁优先学习的终止和对噪声样本的拟合。

Jun, 2023