提出了一种新的损失函数 LMSE，比现有的 MSE 函数更加稳定，对于异常检测性能和损失函数收敛性更强，在深度学习的领域中具有广泛的应用前景。

Jan, 2022

本文提出了一种连续参数化的健壮损失函数，通过将健壮性作为参数，可以泛化到多种常见的概率分布并基于该损失函数训练神经网络从而应用于无监督学习等任务。

Jan, 2017

本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法，并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件，同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的，并且标准反向传播足以学习出真正的分类器。

Dec, 2017

本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

Jun, 2023

本文提出一些理论上支持的噪声稳健损失函数，包括平均绝对误差以及交叉熵损失函数，并已在 CIFAR-10，CIFAR-100 与 FASHION-MNIST 数据集及人工产生的噪声标签上进行了实验，结果表明这些损失函数能够有效应对各种噪声标签情况。

May, 2018

研究使用经验风险最小化解决预测和估计问题，针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下，例如在重尾场景中，我们也可以获得尖锐的误差率。我们的结果表明，误差率取决于两个参数：一个捕捉类别的内在复杂性，以实质上在无噪声（或可实现）问题中导致误差率；另一个衡量类成员之间的交互、目标和损失，并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。

Oct, 2014

本文探究均方误差作为深度神经网络回归模型的损失函数的性质，提出了均方误差的新特性使其成为更适合于 DNN 的回归损失函数，并阐述了 MAE 作为拉普拉斯分布错误的模型的优越性以及实现 MAE 比 MSE 更好地拟合深度神经网络回归的性能优势。

Aug, 2020

我们提出了一种基于一致勒贝格测度的多标签学习器（CLML），证明了在贝叶斯风险框架下，CLML 可以实现理论上的一致性。实证证据支持了我们的理论，证明了：（1）CLML 可以始终获得最先进的结果；（2）勒贝格测度的设计是主要的性能因素，因为 CLML 优化了一个简单的前馈模型，而没有额外的标签图、扰动条件或语义嵌入；（3）结果的分析不仅可以区分 CLML 的有效性，还可以凸显代理损失函数和期望损失函数之间的不一致性。

Feb, 2024

这篇研究论文探讨了使用高斯特征的超参数化线性模型在分类和回归任务中的表现，发现当过度参数化时，所有训练点都成为支持向量，从而演化出一个法向量的模型，比起普通的最小二乘法和解决分类问题的 SVM，更适用于两者的情况，并讨论了在不同 loss function 下，训练（优化）和测试（归纳）階段使用的方法的不同作用和特性。

May, 2020

本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为 Active Passive Loss（APL）的框架来构建稳健损失函数，其结合了两种互相促进的稳健损失函数。实验表明，我们的新的损失函数家族可以在大噪声率下始终优于现有方法。

Jun, 2020