Top-k 误差的损失函数：分析与洞见
本文主要研究大规模图像分类基准测试中常用的 top-k 误差评估方法，探索单标签多分类方法的优化算法及其在 top-k 误差上的表现，提出了多种 top-k 损失函数进行性能改进，并探索了从多分类到多标签学习的转变，同时提出了高效的算法实现。
Dec, 2016
提出一种直接优化 top-k 性能的方法 ——top-k 多类支持向量机，其基于一种严格的上凸界并提出一种基于 top-k 单纯形的高效投影优化方案，在五个数据集上在 top-k 精度方面相比各种基线模型均有不同程度的提高。
Nov, 2015
本文提出了一种基于不可微排列和排名的可微的 top-k 交叉熵分类损失函数，用于多个 k 的同时优化模型，较之前的单一 k 优化得到更好的 top-5 准确率并改善了 top-1 准确率，通过对先前在 ImageNet 数据集上公布的模型进行微调，实现了这些模型的新的最先进结果。
Jun, 2022
论文研究了深度神经网络中 Top-k 分类任务的性能评估方法，提出了一族平滑损失函数，与交叉熵类似但更适用于 Top-k 优化，其中一种基于边界的新型损失函数在处理噪声和数据大小等多种情况下比交叉熵更有鲁棒性。
Feb, 2018
本论文针对计算机视觉中具有挑战性的分类任务，探究了 top-k 误差的一致性分类及校准代理损失的性能，提出了一种具有一致性的新型铰链损失，同时还发现了符号函数作为代理损失函数的限制。
Jan, 2019
我们研究了 top-k 分类的细节，该任务是预测输入的 $k$ 个可能的类别，超越单一分类预测。我们证明了多类别分类中的几种普遍代理损失函数，如 comp-sum 和约束损失，具有相对于 top-k 损失的 H 一致性界限。这些界限保证了与假设集 $H$ 相关的一致性，提供比贝叶斯一致性更强的保证，因为它们是非渐近和假设集特定的。为了解决准确性和基数 $k$ 之间的权衡，我们进一步通过实例依赖的成本敏感学习引入了基数感知的损失函数。对于这些函数，我们得到了成本敏感的 comp-sum 和约束代理损失，建立了它们的 H 一致性界限和贝叶斯一致性。最小化这些损失会导致新的基数感知算法应用于 top-k 分类。我们报道了在 CIFAR-100、ImageNet、CIFAR-10 和 SVHN 数据集上的大量实验证明了这些算法的有效性和好处。
Mar, 2024
自动化错误分类框架的综合评估表明，尽管 top-1 准确率未能完全衡量模型的真实性能，但仍然是一个有价值的性能指标，对错误类型的占比具有强大的预测能力。
Nov, 2023
本文提出了一种新的度量标准，名为 partial AUTKC，可以更好地区分不同分类。同时，论文还提出了一种用于优化该度量标准的框架，并在四个基准数据集上进行了实验证明其有效性。
Sep, 2022
介绍了一种新的监督学习损失函数 —— 平均 top-k 损失，是平均训练集个别损失的 k 个最大值，能够克服平均损失和最大损失的缺陷，在不同数据分布上更好地适应。同时它是所有个别损失的凸函数，可以使用常规的梯度下降法解决凸优化问题，具有显著的理论和实际应用价值。
May, 2017
提出了一种新的损失函数，EM-Softmax，用于训练 CNN 模型的分类任务，以解决 softmax loss 在特征区分度和分类器弱点方面的局限性，并使用 Hilbert-Schmidt 独立性准则构建弱分类器的集合，通过实验验证其优于当前状态下的 softmax loss 和其他一些算法的性能。
May, 2018