Top-k 代理损失函数的一致性
我们研究了 top-k 分类的细节，该任务是预测输入的 $k$ 个可能的类别，超越单一分类预测。我们证明了多类别分类中的几种普遍代理损失函数，如 comp-sum 和约束损失，具有相对于 top-k 损失的 H 一致性界限。这些界限保证了与假设集 $H$ 相关的一致性，提供比贝叶斯一致性更强的保证，因为它们是非渐近和假设集特定的。为了解决准确性和基数 $k$ 之间的权衡，我们进一步通过实例依赖的成本敏感学习引入了基数感知的损失函数。对于这些函数，我们得到了成本敏感的 comp-sum 和约束代理损失，建立了它们的 H 一致性界限和贝叶斯一致性。最小化这些损失会导致新的基数感知算法应用于 top-k 分类。我们报道了在 CIFAR-100、ImageNet、CIFAR-10 和 SVHN 数据集上的大量实验证明了这些算法的有效性和好处。
Mar, 2024
本文主要研究大规模图像分类基准测试中常用的 top-k 误差评估方法，探索单标签多分类方法的优化算法及其在 top-k 误差上的表现，提出了多种 top-k 损失函数进行性能改进，并探索了从多分类到多标签学习的转变，同时提出了高效的算法实现。
Dec, 2016
该论文提出了一种基于 softmax 和多类别 SVM 损失函数的新的 top-k 损失函数，并且进行了实验性的对比研究，结果表明这些新的损失函数的表现通常优于 softmax 函数，尤其是在速度方面具有优势。
Dec, 2015
本文主要研究代理损失估计误差及其保证方法，提供零一损失和对抗性损失两种情况下的具体保证方法，并通过模拟实验证明了其紧密性。
May, 2022
研究多分类学习问题的替代损失函数的一致性属性，提出了分类校准和凸校准维度的概念和理论，并应用于分析各种损失矩阵和证明在子集排名下某些类型的凸校准替代损失不存在。
Aug, 2014
本文提出了一种基于不可微排列和排名的可微的 top-k 交叉熵分类损失函数，用于多个 k 的同时优化模型，较之前的单一 k 优化得到更好的 top-5 准确率并改善了 top-1 准确率，通过对先前在 ImageNet 数据集上公布的模型进行微调，实现了这些模型的新的最先进结果。
Jun, 2022
研究凸代理损失函数与二元分类问题中线性预测的分类误差率最小化之间的关系，发现在所有凸代理损失函数中，铰链损失提供了最佳的界限。同时，提供了特定凸代理损失的下界，显示常用损失函数之间的区别。
Jun, 2012
论文研究了深度神经网络中 Top-k 分类任务的性能评估方法，提出了一族平滑损失函数，与交叉熵类似但更适用于 Top-k 优化，其中一种基于边界的新型损失函数在处理噪声和数据大小等多种情况下比交叉熵更有鲁棒性。
Feb, 2018
提出一种直接优化 top-k 性能的方法 ——top-k 多类支持向量机，其基于一种严格的上凸界并提出一种基于 top-k 单纯形的高效投影优化方案，在五个数据集上在 top-k 精度方面相比各种基线模型均有不同程度的提高。
Nov, 2015