标签噪声存在时的Boosting
本研究提出了一种基于标签质量而非模型预测的学习方法——Confident Learning(CL),通过对数据进行剪枝、使用概率阈值计数来估算噪声,并对样本进行排序,以提高其置信度。我们基于假设类条件噪声过程直接估算了噪声标签和无污染标签之间的联合分布,提出了一种广义CL,它是可证明一致和实验表现优异的。我们在不同类型数据上运用CL,包括MNIST数据集、Amazon评论库、以及ImageNet数据集的一些子集,结果表明CL可以清除不同类型数据中的噪声,提高模型准确性。
Oct, 2019
本文综述了深度学习中标签噪声的学习问题,提供了62种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
本文研究了多类分类中标签噪声的问题,证明准确度度量本身可以是健壮的,并探讨了噪声数据下的训练和验证问题,同时针对模型选择问题提出了一种新的框架NTS,并提供了相应的代码。
Dec, 2020
本研究探讨利用输出正则化来缓解标签噪声对于损失函数的影响,发现当正则化系数趋于无穷大时,这些损失函数变得对称且稳健。因此,正则化系数可以被看作控制对称性和噪声鲁棒性的超参数。
Apr, 2021
通过融合伪标记和置信度估计技术,Robust LR 方法成功地改善了数据标签噪声和确认偏差,并在以不同级别合成噪声的 CIFAR 和真实噪声的 Mini-WebVision 和 ANIMAL-10N 三个数据集上实现了最先进的性能。
Dec, 2021
This paper proposes a method to improve the robustness of deep learning models in the presence of noisy labels by utilizing unsupervised learning and cluster regularization.
Jul, 2023
训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险,为了解决这个问题,研究人员探索了更加稳健的替代损失函数,然而,许多这些替代方法都是启发式的,仍然容易受到过拟合或欠拟合的影响。在本研究中,我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题,我们观察到标签噪声的存在意味着噪声泛化风险的下界,基于这一观察,我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果,给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明,在各种设置中使用这些界限极大地提高了鲁棒性,几乎没有额外的计算成本。
Jul, 2023
该研究介绍了一种名为Robust-GBDT的噪声鲁棒增强模型,该模型在多类分类任务中应用广泛,通过采用凸可靠损失函数和处理类不平衡的新型鲁棒损失函数,有效抵抗标签噪声和类别不平衡,提高了分类准确性和泛化能力。
Oct, 2023
该研究探讨了标签噪声分类器的稳健性,旨在提高模型对复杂实际场景中的噪声数据的抵抗能力,并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。
Dec, 2023
本研究解决了多类别、实例相关标签噪声下的学习问题,提出了一种新的理论框架,将标签噪声下的学习视为一种领域适应。引入的相对信号强度概念为从噪声到干净后验的可转移性提供了量化指标,并支持了噪声无知经验风险最小化原则。通过将该原则应用于自监督特征提取器的线性分类器,我们在CIFAR-N数据挑战中获得了最先进的表现。
Oct, 2024