本文针对图像处理的默认选择 L2 损失函数提出了替代选择。通过比较几种损失函数的性能并提出一种新的可微错误函数，本研究显示出更好的损失函数会显著地提高图像恢复的质量，即使神经网络的结构不变。

Nov, 2015

使用逻辑损失训练的深度神经网络（DNN）在各种二元分类任务中取得了令人印象深刻的进展，然而，关于 DNN 和逻辑损失的二元分类的泛化分析仍然很少。本文旨在通过建立一种新颖而优雅的 oracle-type 不等式，并利用它推导全连接的 ReLU DNN 分类器在逻辑损失下的尖锐收敛速率，以填补这一空白。此结果解释了为什么 DNN 分类器在实际高维分类问题中表现良好。

Jul, 2023

这篇论文综述了深度学习中最常见的损失函数和性能度量方法，分析了每种技术的优点、限制以及在不同深度学习问题中的应用，并旨在帮助从业人员选取最适合特定任务的最佳方法。

Jul, 2023

提出一种名为 PolyLoss 的框架，将损失函数设计为多项式函数的线性组合，可根据任务和数据集灵活调整实现更优的分类效果。

Apr, 2022

使用神经损失函数搜索（NLFS）方法，我们在卷积神经网络中发现了三个新的损失函数（NeuroLoss1、NeuroLoss2 和 NeuroLoss3），它们能够以更高的平均测试准确率取代交叉熵作为简单的损失函数，从而实现更好的泛化效果。

Jan, 2024

本文研究完全连接网络的优化问题，发现在具有金字塔结构、使用平方损失函数和分析激活函数的情况下，只要网络每层隐藏单元数大于训练点数，几乎所有的局部最小值都是全局最优解。

Apr, 2017

本文提出了一种判别损失函数，与生成式训练标准不同，该函数使用正确和竞争类之间的负对数似然比，极大地提高了在 CIFAR-10 图像分类任务中的性能。

Apr, 2018

本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法，并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件，同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的，并且标准反向传播足以学习出真正的分类器。

Dec, 2017

本篇论文提出了一种新的损失函数，通过对深度神经网络中任意一组层（包括输入和隐藏层）的度量度量范数施加边缘来实现任意选择度量的边缘的深度网络。本文的损失具有较好的特性，适用于小训练集，分类和鲁棒性等任务，与现有数据扩增和正则化技术相辅相成。

Mar, 2018

本文探讨了时下最先进神经网络的损失函数，以及常用随机梯度下降变体如何优化这些损失函数，探讨中发现每个优化算法在鞍点处会做出不同的选择，从而得出每个算法在鞍点处的特征选择假设。

Dec, 2016