使用神经损失函数搜索（NLFS）方法，我们在卷积神经网络中发现了三个新的损失函数（NeuroLoss1、NeuroLoss2 和 NeuroLoss3），它们能够以更高的平均测试准确率取代交叉熵作为简单的损失函数，从而实现更好的泛化效果。

Jan, 2024

神经网络通过最小化损失函数来学习，定义了预测模型输出与目标值之间的差异。选择损失函数对于实现特定任务行为至关重要，并且极大地影响模型的能力。我们利用遗传编程方法对众所周知的损失函数进行了实验性挑战，包括交叉熵损失，提出了 5 个最佳函数，并在各种模型架构的标准数据集上进行了评估，结果发现 Next Generation Loss（NGL）函数在所有测试数据集上表现出相同或更好的性能，包括 Imagetnet-1k 数据集。最后，我们将 NGL 函数用于 Pascal VOC 2012 和 COCO-Stuff164k 数据集的分割后任务训练，提高了底层模型的性能。

Apr, 2024

本文针对图像处理的默认选择 L2 损失函数提出了替代选择。通过比较几种损失函数的性能并提出一种新的可微错误函数，本研究显示出更好的损失函数会显著地提高图像恢复的质量，即使神经网络的结构不变。

Nov, 2015

本文比较了用于人脸识别的不同损失函数（Cross-Entropy、Angular Softmax、Additive-Margin Softmax、ArcFace 和 Marginal Loss）在 ResNet 和 MobileNet 两种 CNN 架构下的表现，采用了 CASIA-Webface 和 MS-Celeb-1M 两个数据集进行训练，并在 LFW 人脸数据集上进行了测试。

Jan, 2019

本文介绍了 CSE-Autoloss 模型，通过使用一种有效的收敛模拟驱动进化搜索算法加速搜索进程，从原始操作级别开始为具有挑战性的目标检测发现新的损失函数公式。我们的模型发现的最佳搜索损失功能组合在 COCO 上的双阶段检测器和单阶段检测器中的 mAP 方面比默认组合表现出 1.1％和 0.8％的提高。

Feb, 2021

我们引入了一个高性能、灵活且通用的自动损失函数搜索框架来解决节点分类中的不平衡问题。在 15 种图神经网络和数据集组合中，我们的框架相比最先进方法在性能上有显著改进；此外，我们观察到图结构数据中的同质性对所提框架的可迁移性有着显著贡献。

May, 2024

本文介绍了广泛用于图像分割的知名损失函数，并列出了能够帮助模型快速优化的情况。同时，我们还介绍了一种新的 Log-cosh Dice 损失函数，并与广泛使用的损失函数在 NBFS 颅骨分割开源数据集上进行了比较。我们还展示了某些损失函数在所有数据集上表现良好，并可作为未知数据分布情况下的良好基准选择。欲了解更多信息，请访问 Github 链接。

Jun, 2020

本文探讨了在图像分类任务中使用多种损失函数和正则化器去提高测试精度，但是并不清楚这些损失函数是否可以学习出更好的下游任务表示。作者研究了训练目标的选择如何影响在 ImageNet 上训练的卷积神经网络的隐藏表示的可转移性，结果表明选择不同的损失函数会导致不同的结果，进一步指出了在为原始任务学习不变特征和为转移任务学习相关特征之间存在一种折衷。

Oct, 2020

研究了不同损失函数选择对深度神经网络及其学习动态的影响，证明了 L1 和 L2 损失函数是深度网络分类目标的合理选择，并提出两种新的损失函数作为现有损失函数的可行替代品。

Feb, 2017

本文提出了一种用于任务和模型无关的损失函数学习的新型元学习框架，通过混合搜索方法，首先使用遗传编程找到一组符号损失函数，然后对学习到的损失函数进行参数化和优化，实验证明该框架具有多样性与性能，在各种任务和特定神经网络结构上提供了改进的收敛性、样本效率和推理性能。

Mar, 2024