本文提出了一种基于不可微排列和排名的可微的 top-k 交叉熵分类损失函数，用于多个 k 的同时优化模型，较之前的单一 k 优化得到更好的 top-5 准确率并改善了 top-1 准确率，通过对先前在 ImageNet 数据集上公布的模型进行微调，实现了这些模型的新的最先进结果。

Jun, 2022

本文主要研究大规模图像分类基准测试中常用的 top-k 误差评估方法，探索单标签多分类方法的优化算法及其在 top-k 误差上的表现，提出了多种 top-k 损失函数进行性能改进，并探索了从多分类到多标签学习的转变，同时提出了高效的算法实现。

Dec, 2016

该论文提出了一种基于 softmax 和多类别 SVM 损失函数的新的 top-k 损失函数，并且进行了实验性的对比研究，结果表明这些新的损失函数的表现通常优于 softmax 函数，尤其是在速度方面具有优势。

Dec, 2015

本文研究了广泛应用的交叉熵损失函数，提出了一族损失函数 comp-sum，包括了交叉熵、广义交叉熵、平均绝对误差等。我们首次给出了这些损失函数的 H - 相容性，进一步介绍了一种新的平滑对抗 comp-sum 损失函数，并证明了它们有助于在对抗性环境下提高模型的 H - 相容性。

Apr, 2023

本文研究了使用余弦相似度损失函数进行小数据集分类的问题，发现与分类交叉熵损失函数相比，余弦损失函数在只有极少标本的数据集上具有更高的准确性，在使用类别树的先前知识时可以进一步提高分类性能。

Jan, 2019

本文提供了一种新的解释 cross-entropy loss 的方法，并基于此推导出一种新的 loss 函数类，该类函数可以应用于任何有监督的学习任务中，提高收敛速度。

Jul, 2019

本论文针对计算机视觉中具有挑战性的分类任务，探究了 top-k 误差的一致性分类及校准代理损失的性能，提出了一种具有一致性的新型铰链损失，同时还发现了符号函数作为代理损失函数的限制。

Jan, 2019

通过神经崩溃的视角研究标签平滑损失，发现标签平滑能够加快模型收敛速度，增强模型崩溃水平，提供了模型校准和性能优势的有价值见解，同时通过理论和实证相结合的方法，深化了对标签平滑和交叉熵损失之间差异的理解，并展示了神经崩溃框架在深度神经网络研究中的应用。

Feb, 2024

本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

Jun, 2023

本文提出了 L-Softmax loss 作为一种广义的大边际 softmax（L-Softmax）损失函数，可以显式地鼓励所学特征的类内紧密性和类间可分性，并且能够调整想要的边际并避免过拟合，并在四个基准数据集上进行了广泛实验，结果表明使用 L-Softmax 且深度学习的特征更具有区分度，从而大大提高了各种视觉分类和验证任务的性能。

Dec, 2016