通过数据模糊化减轻标签噪声
训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险,为了解决这个问题,研究人员探索了更加稳健的替代损失函数,然而,许多这些替代方法都是启发式的,仍然容易受到过拟合或欠拟合的影响。在本研究中,我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题,我们观察到标签噪声的存在意味着噪声泛化风险的下界,基于这一观察,我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果,给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明,在各种设置中使用这些界限极大地提高了鲁棒性,几乎没有额外的计算成本。
Jul, 2023
通过融合伪标记和置信度估计技术,Robust LR 方法成功地改善了数据标签噪声和确认偏差,并在以不同级别合成噪声的 CIFAR 和真实噪声的 Mini-WebVision 和 ANIMAL-10N 三个数据集上实现了最先进的性能。
Dec, 2021
提出了一个深度学习神经网络的标签检查和修正方法,该方法结合了小损失选择和噪声校正的思想,采用两个不同的网络来通过小损失选择方法训练,并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度,在真实和人工数据集上测试表明该方法优于基准方法。
Feb, 2022
该研究探讨了标签噪声分类器的稳健性,旨在提高模型对复杂实际场景中的噪声数据的抵抗能力,并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。
Dec, 2023
本文提出了一种在深度神经网络分类器中使用有信任子集数据以及基于损失修正技术的方法,大大提高了分类器对标签噪声的鲁棒性。实验结果表明,该方法在视觉和自然语言处理任务中均取得了较好的性能表现。
Feb, 2018
本文介绍了针对大规模标注数据不可避免存在 label noise 问题时,通过使用 noisy classifiers 算法来提高模型鲁棒性,进而讲解了该算法的理论解释,并提出了一种基于该算法的标签校正方法,结合深度神经网络,成功提升了测试性能。
Nov, 2020
This paper proposes a method to improve the robustness of deep learning models in the presence of noisy labels by utilizing unsupervised learning and cluster regularization.
Jul, 2023
该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架,并使用一个无向图模型来描述干净和嘈杂标签之间的关系,在监督学习过程中学习这个模型。该模型在图像标注问题上应用,并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。
May, 2017
本文提出了一种基于元学习方法的元 - 梯度下降模型,可自适应地根据当前的训练问题迭代地获取校正后的软标签,无需手动预设超参数,从而解决了深度神经网络容易过度拟合含有噪声标签的训练数据的问题。
Aug, 2020
本文研究了应对 “学习有噪音标签” 问题的多种数据增广策略,通过在 CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上的实验,发现在 warm-up 阶段和学习阶段使用不同的增广策略能够最有效地提高 DNNs 的鲁棒性,同时也提出了一种关于样本筛选的增广方法,该方法在对真实噪音数据集进行处理时比其他基线方法取得了更好的结果。
Mar, 2021