论文研究了深度神经网络中 Top-k 分类任务的性能评估方法，提出了一族平滑损失函数，与交叉熵类似但更适用于 Top-k 优化，其中一种基于边界的新型损失函数在处理噪声和数据大小等多种情况下比交叉熵更有鲁棒性。

Feb, 2018

本文提出基于余弦相似度的大间距余弦损失函数，提高了人脸识别深度卷积神经网络的性能，在 MegaFace Challenge、Youtube Faces、Labeled Face in the Wild 等公共数据集上达到了最先进的表现。

Jan, 2018

为提高深度学习模型的性能和泛化能力，本论文提出了数据、损失函数和预测等三个方面的技术，以有效地利用小数据集进行训练。通过利用仅包含每类 50 张图像的 ImageNet 数据，我们取得了高准确率，并在 “数据有效计算机视觉挑战” 中排名第四。

Jul, 2020

本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

Feb, 2021

本研究提出了一种新的 dice loss 网络训练目标替代 cross-entropy 目标，以解决 NLP 任务中数据失衡的问题，并且在多项任务中均取得了显著的性能提升。

Nov, 2019

本文提出了 L-Softmax loss 作为一种广义的大边际 softmax（L-Softmax）损失函数，可以显式地鼓励所学特征的类内紧密性和类间可分性，并且能够调整想要的边际并避免过拟合，并在四个基准数据集上进行了广泛实验，结果表明使用 L-Softmax 且深度学习的特征更具有区分度，从而大大提高了各种视觉分类和验证任务的性能。

Dec, 2016

本文提出了一种使用交叉熵和 softmax 作为互信息评估器的神经网络分类器的新视角，并且在数据集不平衡时，开发了一种新的 softmax 形式，该形式可以将分类器转换为互信息评估器。实验结果表明，该形式可以提高分类准确性，特别是对于不平衡的数据集。

Jun, 2021

本文提供证据表明，对于 NLP 和 ASR 任务，使用方块损失函数进行神经网络训练，可以获得比交叉熵更好的效果，并且可以提高计算资源的利用率。我们认为，使用方块损失函数需要成为现代深度学习最佳实践的一部分，与交叉熵在平等基础上竞争。

Jun, 2020

通过理论分析，该研究证明了交叉熵与多个已知的成对损失之间的关系，并提出将交叉熵最小化作为近似边界优化算法，从而避免了成对样本采集等复杂的优化技巧。研究通过在四个标准的深度度量学习基准测试中获得最新的结果，超越了最近和复杂的 DML 方法。

Mar, 2020

本文探究了余弦相似度 softmax 損失的兩個參數的效果，提出了不需要超參數的 AdaCos 損失函數，並在人臉驗證及識別數據集上驗證其效果優於現有的 softmax 損失。

May, 2019