平均 Top-k 损失的学习
本文主要研究大规模图像分类基准测试中常用的 top-k 误差评估方法,探索单标签多分类方法的优化算法及其在 top-k 误差上的表现,提出了多种 top-k 损失函数进行性能改进,并探索了从多分类到多标签学习的转变,同时提出了高效的算法实现。
Dec, 2016
本文提出了一种基于不可微排列和排名的可微的 top-k 交叉熵分类损失函数,用于多个 k 的同时优化模型,较之前的单一 k 优化得到更好的 top-5 准确率并改善了 top-1 准确率,通过对先前在 ImageNet 数据集上公布的模型进行微调,实现了这些模型的新的最先进结果。
Jun, 2022
本文提出了一种新的度量标准,名为 partial AUTKC,可以更好地区分不同分类。同时,论文还提出了一种用于优化该度量标准的框架,并在四个基准数据集上进行了实验证明其有效性。
Sep, 2022
该论文提出了一种基于 softmax 和多类别 SVM 损失函数的新的 top-k 损失函数,并且进行了实验性的对比研究,结果表明这些新的损失函数的表现通常优于 softmax 函数,尤其是在速度方面具有优势。
Dec, 2015
我们研究了 top-k 分类的细节,该任务是预测输入的 $k$ 个可能的类别,超越单一分类预测。我们证明了多类别分类中的几种普遍代理损失函数,如 comp-sum 和约束损失,具有相对于 top-k 损失的 H 一致性界限。这些界限保证了与假设集 $H$ 相关的一致性,提供比贝叶斯一致性更强的保证,因为它们是非渐近和假设集特定的。为了解决准确性和基数 $k$ 之间的权衡,我们进一步通过实例依赖的成本敏感学习引入了基数感知的损失函数。对于这些函数,我们得到了成本敏感的 comp-sum 和约束代理损失,建立了它们的 H 一致性界限和贝叶斯一致性。最小化这些损失会导致新的基数感知算法应用于 top-k 分类。我们报道了在 CIFAR-100、ImageNet、CIFAR-10 和 SVHN 数据集上的大量实验证明了这些算法的有效性和好处。
Mar, 2024
本文介绍了一种算法,该算法可以将任何在线算法转换为最大损失的最小化器。我们证明,在某些情况下,要在训练集上获得更好的准确性对于获得好的性能至关重要。最后,我们提出了处理异常值的鲁棒版本的方法。
Feb, 2016
本论文针对计算机视觉中具有挑战性的分类任务,探究了 top-k 误差的一致性分类及校准代理损失的性能,提出了一种具有一致性的新型铰链损失,同时还发现了符号函数作为代理损失函数的限制。
Jan, 2019
本文开发新的方法,针对基于 TkML-AP 的图像注释系统,创建了用于攻击的对抗扰动,并基于新型损失函数,明确考虑 top-k 排名关系,对 PASCAL VOC 和 MS COCO 等大规模基准数据集进行实验评估,展示了我们方法在减少最先进的 top-k 多标签学习方法的性能方面的有效性,以应对针对性和非针对性攻击。
Jul, 2021
在多标签分类的人口效用框架下,我们考虑复杂性能度量的优化问题。我们主要关注一种指标,它线性可分解为对每个标签分别应用的二分类效用的总和,并对每个实例预测出恰好 k 个标签。这些 “宏 - at-$k$” 指标在具有长尾标签的极端分类问题中具有理想的性质。遗憾的是,at-$k$ 约束将原本相互独立的二分类任务耦合起来,导致优化问题比标准的宏平均更具挑战性。我们提供了一个统计框架来研究这个问题,证明了最优分类器的存在和形式,并基于 Frank-Wolfe 方法提出了一个统计一致且实用的学习算法。有趣的是,我们的主要结果还涉及非线性函数的更一般度量,这些函数是标签混淆矩阵的函数。实证结果证明了所提方法的竞争性能。
Jan, 2024
提出一种直接优化 top-k 性能的方法 ——top-k 多类支持向量机,其基于一种严格的上凸界并提出一种基于 top-k 单纯形的高效投影优化方案,在五个数据集上在 top-k 精度方面相比各种基线模型均有不同程度的提高。
Nov, 2015