损失函数与T-范数之间的关系
论文研究了深度神经网络中Top-k分类任务的性能评估方法，提出了一族平滑损失函数，与交叉熵类似但更适用于Top-k优化，其中一种基于边界的新型损失函数在处理噪声和数据大小等多种情况下比交叉熵更有鲁棒性。
Feb, 2018
本论文研究了通过截断传统损失函数形成的一类客观函数，并探讨了使用截断损失函数进行非凸学习的方法，证明了外推风险边界和统计误差，建立了随机梯度下降算法找到的模糊最小值的统计误差，并通过实验证明该方法的有效性。
May, 2018
本论文介绍了Tamed Cross Entropy（TCE）损失函数，它是深度学习中用于分类任务的标准交叉熵（CE）损失的一个鲁棒派生物。通过使用ResNet架构在人工污染的四个图像数据集上进行评估，证明了TCE损失在所有测试场景中优于CE损失，并且不需要改变训练方案与CE损失相同。
Oct, 2018
通过理论分析，该研究证明了交叉熵与多个已知的成对损失之间的关系，并提出将交叉熵最小化作为近似边界优化算法，从而避免了成对样本采集等复杂的优化技巧。研究通过在四个标准的深度度量学习基准测试中获得最新的结果，超越了最近和复杂的 DML 方法。
Mar, 2020
本文提供证据表明，对于NLP和ASR任务，使用方块损失函数进行神经网络训练，可以获得比交叉熵更好的效果，并且可以提高计算资源的利用率。我们认为，使用方块损失函数需要成为现代深度学习最佳实践的一部分，与交叉熵在平等基础上竞争。
Jun, 2020
使用Jensen-Shannon抖动作为噪声容忍的损失函数， 将它与CE和MAE混合使用以改善可学习性，并区分噪声数据点周围的一致性。 通过用此方法在CIFAR和WebVision等数据集上进行试验表明能取得卓越的效果。
May, 2021
本文研究了广泛应用的交叉熵损失函数，提出了一族损失函数comp-sum，包括了交叉熵、广义交叉熵、平均绝对误差等。我们首次给出了这些损失函数的H-相容性，进一步介绍了一种新的平滑对抗comp-sum损失函数，并证明了它们有助于在对抗性环境下提高模型的H-相容性。
Apr, 2023
本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。
Jun, 2023
神经网络通过最小化损失函数来学习，定义了预测模型输出与目标值之间的差异。选择损失函数对于实现特定任务行为至关重要，并且极大地影响模型的能力。我们利用遗传编程方法对众所周知的损失函数进行了实验性挑战，包括交叉熵损失，提出了5个最佳函数，并在各种模型架构的标准数据集上进行了评估，结果发现Next Generation Loss（NGL）函数在所有测试数据集上表现出相同或更好的性能，包括Imagetnet-1k数据集。最后，我们将NGL函数用于Pascal VOC 2012和COCO-Stuff164k数据集的分割后任务训练，提高了底层模型的性能。
Apr, 2024