研究了不同损失函数选择对深度神经网络及其学习动态的影响，证明了 L1 和 L2 损失函数是深度网络分类目标的合理选择，并提出两种新的损失函数作为现有损失函数的可行替代品。

Feb, 2017

本综述系统地评估了用于图像分割的 25 种损失函数，并提出了分类法和评估方法，以帮助研究人员找到适用于其应用的最佳损失函数。对医疗和自然图像数据集进行了中立评估，并指出了当前挑战和未来研究机会。

Dec, 2023

本文提出了一种使用卷积神经网络的学习 no-reference image quality metric 来提高图像处理算子的感知质量的方法，从而优化图像增强算法，成功调整局部色调映射和去雾等多种操作。

Dec, 2017

使用神经损失函数搜索（NLFS）方法，我们在卷积神经网络中发现了三个新的损失函数（NeuroLoss1、NeuroLoss2 和 NeuroLoss3），它们能够以更高的平均测试准确率取代交叉熵作为简单的损失函数，从而实现更好的泛化效果。

Jan, 2024

通过进行演化搜索找到了一种名为逆贝塞尔对数损失的单一损失函数，它在多数实验中表现优于交叉熵。

Apr, 2024

这篇论文综述了深度学习中最常见的损失函数和性能度量方法，分析了每种技术的优点、限制以及在不同深度学习问题中的应用，并旨在帮助从业人员选取最适合特定任务的最佳方法。

Jul, 2023

该论文探讨了使用分层损失函数进行神经网络分类的监督训练的方法，表明可在多种图像数据集上达到最先进水平，在局部学习的情况下，使用本地误差可能是朝着更符合生物学的深度学习的一步。

Jan, 2019

我们引入了一个高性能、灵活且通用的自动损失函数搜索框架来解决节点分类中的不平衡问题。在 15 种图神经网络和数据集组合中，我们的框架相比最先进方法在性能上有显著改进；此外，我们观察到图结构数据中的同质性对所提框架的可迁移性有着显著贡献。

May, 2024

本文比较了用于人脸识别的不同损失函数（Cross-Entropy、Angular Softmax、Additive-Margin Softmax、ArcFace 和 Marginal Loss）在 ResNet 和 MobileNet 两种 CNN 架构下的表现，采用了 CASIA-Webface 和 MS-Celeb-1M 两个数据集进行训练，并在 LFW 人脸数据集上进行了测试。

Jan, 2019

本文通过可视化方法探讨神经网络损失函数的结构和损失景观对泛化的影响，提出了一种简单的 “滤波器归一化” 方法来可视化损失函数曲率并对损失函数进行有意义的比较。然后，利用各种可视化方法，探索网络结构如何影响损失景观，以及训练参数如何影响最小化器的形状。

Dec, 2017