本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法,并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件,同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的,并且标准反向传播足以学习出真正的分类器。
Dec, 2017
本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数,并研究了该损失函数的应用及如何选择适当的损失函数,在 cifar-100 数据集上表现出色,此外还提出了一种新的 Bounded Cross Entropy 损失函数。
Jun, 2023
使用含噪标记数据训练决策树,研究能够导致健壮学习算法的损失函数。首先,我们在决策树学习领域提供了有关许多现有损失函数健壮性的新理论见解。其次,我们介绍了一种构建健壮损失函数的框架,称为分布损失。最后,我们的多个数据集和噪声设置上的实验证实了我们的理论洞察力和自适应负指数损失的有效性。
Dec, 2023
训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险,为了解决这个问题,研究人员探索了更加稳健的替代损失函数,然而,许多这些替代方法都是启发式的,仍然容易受到过拟合或欠拟合的影响。在本研究中,我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题,我们观察到标签噪声的存在意味着噪声泛化风险的下界,基于这一观察,我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果,给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明,在各种设置中使用这些界限极大地提高了鲁棒性,几乎没有额外的计算成本。
Jul, 2023
通过研究损失函数的对称性,提出了一种新的损失函数 —— 非对称损失函数,用于稳健的神经网络训练,得出了其理论性质和实验结果。
Jun, 2021
本文通过研究 0-1 损失与对手风险之间的单调关系,针对标签污染问题,提出了一种简单高效的课程化损失函数,即 Curriculum loss (CL),用于同时优化深度神经网络的鲁棒性和泛化性。实验结果证明了所提出的损失函数的鲁棒性。
May, 2019
通过对困难得分和收敛速率的理论分析,研究了以适度难度曲线为基础的课程学习在凸问题中的作用并阐述它与硬数据挖掘的矛盾之处。
Dec, 2018
本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为 Active Passive Loss(APL)的框架来构建稳健损失函数,其结合了两种互相促进的稳健损失函数。实验表明,我们的新的损失函数家族可以在大噪声率下始终优于现有方法。
Jun, 2020
本文提出了一种连续参数化的健壮损失函数,通过将健壮性作为参数,可以泛化到多种常见的概率分布并基于该损失函数训练神经网络从而应用于无监督学习等任务。
Jan, 2017
优化模型中的不确定参数通过预测估计,为了评估基于预测的决策质量,决策焦点学习旨在通过训练预测模型来最小化后悔,提出了三种更接近预期后悔的鲁棒损失函数,实验证明使用鲁棒后悔损失训练决策焦点学习方法能够改善测试样本的经验后悔并保持计算时间等效。
Oct, 2023