深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性
本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法，并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件，同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的，并且标准反向传播足以学习出真正的分类器。
Dec, 2017
训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险，为了解决这个问题，研究人员探索了更加稳健的替代损失函数，然而，许多这些替代方法都是启发式的，仍然容易受到过拟合或欠拟合的影响。在本研究中，我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题，我们观察到标签噪声的存在意味着噪声泛化风险的下界，基于这一观察，我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果，给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明，在各种设置中使用这些界限极大地提高了鲁棒性，几乎没有额外的计算成本。
Jul, 2023
本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为 Active Passive Loss（APL）的框架来构建稳健损失函数，其结合了两种互相促进的稳健损失函数。实验表明，我们的新的损失函数家族可以在大噪声率下始终优于现有方法。
Jun, 2020
本文提出一些理论上支持的噪声稳健损失函数，包括平均绝对误差以及交叉熵损失函数，并已在 CIFAR-10，CIFAR-100 与 FASHION-MNIST 数据集及人工产生的噪声标签上进行了实验，结果表明这些损失函数能够有效应对各种噪声标签情况。
May, 2018
本文提出一种使用 “超集学习” 框架来处理标签噪声的方法，将目标信息进行模糊化，并添加额外的备选标签，以协同改善学习器的泛化性能。实验结果表明该方法在合成和真实数据上都能有效检测和纠正错误的训练标签。
May, 2023
本文提出一种基于限制网络输出在固定向量置换集合上的稀疏正则化策略，旨在解决标签噪声存在时常用精度损失函数容易过拟合或欠拟合的问题，结果表明该方法在存在噪声标签和类不平衡情况下能够显著提高精度和优于现有方法。
Jul, 2021
该论文提出了一种基于理论的方法来训练深度神经网络，包括循环网络，使其适用于存在类别相关标签噪声的情况，并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。
Sep, 2016
使用含噪标记数据训练决策树，研究能够导致健壮学习算法的损失函数。首先，我们在决策树学习领域提供了有关许多现有损失函数健壮性的新理论见解。其次，我们介绍了一种构建健壮损失函数的框架，称为分布损失。最后，我们的多个数据集和噪声设置上的实验证实了我们的理论洞察力和自适应负指数损失的有效性。
Dec, 2023
该研究探讨了标签噪声分类器的稳健性，旨在提高模型对复杂实际场景中的噪声数据的抵抗能力，并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。
Dec, 2023