论文研究了深度神经网络中Top-k分类任务的性能评估方法，提出了一族平滑损失函数，与交叉熵类似但更适用于Top-k优化，其中一种基于边界的新型损失函数在处理噪声和数据大小等多种情况下比交叉熵更有鲁棒性。

Feb, 2018

本文提出了一种判别损失函数，与生成式训练标准不同，该函数使用正确和竞争类之间的负对数似然比，极大地提高了在CIFAR-10图像分类任务中的性能。

Apr, 2018

本论文介绍了Tamed Cross Entropy（TCE）损失函数，它是深度学习中用于分类任务的标准交叉熵（CE）损失的一个鲁棒派生物。通过使用ResNet架构在人工污染的四个图像数据集上进行评估，证明了TCE损失在所有测试场景中优于CE损失，并且不需要改变训练方案与CE损失相同。

Oct, 2018

该研究探讨了在保证标准准确率的前提下提高对抗性鲁棒性的方法，介绍了Max-Mahalanobis中心损失函数，强制在特征空间中诱导高密度区域，以使学习到的特征点更加紧凑和有序，从而提高对抗性防御水平。

May, 2019

本文提供了一种新的解释cross-entropy loss的方法，并基于此推导出一种新的loss函数类，该类函数可以应用于任何有监督的学习任务中，提高收敛速度。

Jul, 2019

本文提供证据表明，对于NLP和ASR任务，使用方块损失函数进行神经网络训练，可以获得比交叉熵更好的效果，并且可以提高计算资源的利用率。我们认为，使用方块损失函数需要成为现代深度学习最佳实践的一部分，与交叉熵在平等基础上竞争。

Jun, 2020

本文探讨了在存在测试时对抗情况下的分类器损失的最优下限和对应最优分类输出的确定，并使用自适应算法以高效地计算此下限，进而将其作为诊断工具来确定当前鲁棒性训练方法的有效性，并探讨使用最优分类输出作为软标签以经验地改善鲁棒性训练。

Apr, 2021

本文研究了如何选择神经网络的损失函数，提出所有相关的损失函数都会展现神经折叠现象，且实验表明，无论是交叉熵、标签平滑、聚焦损失还是均方误差，只要神经网络足够大，训练充分，使用这些损失函数训练出的网络特征在测试数据上表现几乎相同。

Oct, 2022

本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

Jun, 2023

近期学习算法的进展表明，损失曲面的陡峭程度是提高泛化差距的有效指标。本研究引入创新的方法进一步增强模型泛化能力，提出了自适应对抗交叉熵（AACE）损失函数替代Sharpness-Aware Minimization（SAM）的扰动，同时提出了一种利用AACE损失生成扰动的新方法，实验证实了AACE的有效性，并通过在各种数据集上使用Wide ResNet和PyramidNet进行图像分类任务的实验，取得了改进的性能。

Jun, 2024