深度神经网络中对标签噪声鲁棒的损失函数
本文研究了在训练数据中存在标签噪声的情况下,风险最小化的鲁棒性。我们探讨了一种损失函数对于噪声的容忍度,并证明了 0-1 损失、Sigmoid 损失、Ramp 损失和 Probit 损失满足该条件,其中选择足够大的参数可以使其对非均匀标签噪声具有容忍度。在大量实证研究中,与 SVM 算法相比,我们证明了使用 0-1 损失、Sigmoid 损失和 Ramp 损失的风险最小化更加鲁棒。
Mar, 2014
该论文提出了一种基于理论的方法来训练深度神经网络,包括循环网络,使其适用于存在类别相关标签噪声的情况,并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。
Sep, 2016
本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为Active Passive Loss(APL)的框架来构建稳健损失函数,其结合了两种互相促进的稳健损失函数。实验表明,我们的新的损失函数家族可以在大噪声率下始终优于现有方法。
Jun, 2020
本文综述了深度学习中标签噪声的学习问题,提供了62种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
本文从理论上解释了小LOSS原则在处理噪声标签时的有效性,并基于此对其进行了形式化重新定义以更好地解决噪声问题。实验结果证明了我们的理论解释,并证明了重新定义后的小LOSS原则的有效性。
Jun, 2021
本文提出一种基于限制网络输出在固定向量置换集合上的稀疏正则化策略,旨在解决标签噪声存在时常用精度损失函数容易过拟合或欠拟合的问题,结果表明该方法在存在噪声标签和类不平衡情况下能够显著提高精度和优于现有方法。
Jul, 2021
本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数,并研究了该损失函数的应用及如何选择适当的损失函数,在 cifar-100 数据集上表现出色,此外还提出了一种新的 Bounded Cross Entropy 损失函数。
Jun, 2023
训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险,为了解决这个问题,研究人员探索了更加稳健的替代损失函数,然而,许多这些替代方法都是启发式的,仍然容易受到过拟合或欠拟合的影响。在本研究中,我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题,我们观察到标签噪声的存在意味着噪声泛化风险的下界,基于这一观察,我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果,给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明,在各种设置中使用这些界限极大地提高了鲁棒性,几乎没有额外的计算成本。
Jul, 2023