本文证明了大多数知名损失函数的经验风险因子可分为线性项，聚合所有标签和不涉及标签的项，并且可以进一步表示为损失的和。这适用于任何RKHS中的非光滑、非凸损失。通过估计平均操作符，本研究揭示了这种分解的变量的充分统计量，并将其应用于弱监督学习。最后，本文展示了大多数损失都享有一种依赖于数据的（通过平均算子）噪声鲁棒性。

Feb, 2016

本文提出一些理论上支持的噪声稳健损失函数，包括平均绝对误差以及交叉熵损失函数，并已在CIFAR-10，CIFAR-100与FASHION-MNIST数据集及人工产生的噪声标签上进行了实验，结果表明这些损失函数能够有效应对各种噪声标签情况。

May, 2018

本文提供了一种新的解释cross-entropy loss的方法，并基于此推导出一种新的loss函数类，该类函数可以应用于任何有监督的学习任务中，提高收敛速度。

Jul, 2019

本文提出了一种名为Symmetric cross entropy Learning的深度神经网络学习方法，通过将Cross Entropy与Reverse Cross Entropy相结合，解决了在标签噪声存在下CE的过拟合与欠拟合问题，并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。

Aug, 2019

本文利用$f$-divergence的变分形式证明了其在标签噪声存在时具有良好的鲁棒性，并将其应用于噪声标签下的学习问题中，并提出了可能不具鲁棒性的解决方法，并通过实证研究证明了该方法的有效性。

Nov, 2020

本研究探讨利用输出正则化来缓解标签噪声对于损失函数的影响，发现当正则化系数趋于无穷大时，这些损失函数变得对称且稳健。因此，正则化系数可以被看作控制对称性和噪声鲁棒性的超参数。

Apr, 2021

本论文实验证明，鼓励一致性规则的简单损失函数可以显著提高模型对噪声标签的鲁棒性。

Oct, 2021

本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

Jun, 2023

本研究表明，使用交叉熵损失结合常用的正则化策略，如学习率下降、模型权重平均和数据增强等，可以优于最先进的方法，在处理学习噪声标签的挑战时，采用一种正则化策略组合可能比复杂的算法更有效。

Jul, 2023

研究了适用于半监督学习中自训练方法的一系列经验风险函数和正则化方法，这些方法受到各种差异度量的启示。通过对差异度量理论基础的启发，即差异度量和Rényi差异度量，我们还提供了有益的见解，以增强对我们的经验风险函数和正则化技术的理解。在伪标签和熵最小化技术中，作为有效半监督学习的自训练方法，自训练过程存在真实标签和伪标签之间的不匹配（噪声伪标签），我们的一些经验风险函数在处理噪声伪标签方面表现出稳健性。在一些条件下，与传统的自训练方法相比，我们的经验风险函数表现出更好的性能。

May, 2024