Sep, 2022

优化 Top-k 曲线下面积的部分：理论与实践

PDF
TL;DR本文提出了一种新的度量标准，名为 partial AUTKC，可以更好地区分不同分类。同时，论文还提出了一种用于优化该度量标准的框架，并在四个基准数据集上进行了实验证明其有效性。
top-k errorclassification benchmarkspartial area under the top-k curvediscrimination abilityempirical surrogate risk minimization
发现论文，激发创造
  • 可微 Top-k 分类学习

    本文提出了一种基于不可微排列和排名的可微的 top-k 交叉熵分类损失函数，用于多个 k 的同时优化模型，较之前的单一 k 优化得到更好的 top-5 准确率并改善了 top-1 准确率，通过对先前在 ImageNet 数据集上公布的模型进行微调，实现了这些模型的新的最先进结果。

    Jun, 2022

  • 多类别、前 K、多标签分类的损失函数分析与优化

    本文主要研究大规模图像分类基准测试中常用的 top-k 误差评估方法，探索单标签多分类方法的优化算法及其在 top-k 误差上的表现，提出了多种 top-k 损失函数进行性能改进，并探索了从多分类到多标签学习的转变，同时提出了高效的算法实现。

    Dec, 2016

  • 左下部分面积下限：一种有效高效的推荐优化度量方法

    为构建大规模推荐系统，优化度量标准至关重要。我们提出了一种新的优化度量标准，Lower-Left Partial AUC (LLPAUC)，它在计算效率上类似于 AUC，但与 Top-K 排序指标强相关。通过理论验证和数据集评估，我们证明了 LLPAUC 与 Top-K 排序度量的相关性和鲁棒性。同时，我们还设计了一种高效的点级推荐损失函数来最大化 LLPAUC。

    Feb, 2024

  • 一元 ROC 曲线下面积的界

    本文提出了一种新的替代损失函数来优化 AUC，避免了训练数据之间的成对比较，具有线性的时间和存储复杂度，并对在线学习和批处理算法进行实验以说明其有效性。

    Apr, 2018

  • 克服选择性分类系统评估中的常见缺陷

    选择性分类方法可以在低置信度预测时拒绝，可靠地将基于机器学习的分类系统应用于临床诊断等实际场景。本研究定义了多阈值评估度量在选择性分类中的 5 个要求，涉及任务对齐、可解释性和灵活性，并展示了当前方法未能满足这些要求。我们提出了广义风险覆盖曲线下的面积（AUGRC），该曲线满足所有要求，并可直接解释为未检测到故障的平均风险。通过综合评估 6 个数据集和 13 个置信度评分函数的广泛基准，我们在实证上证明了 AUGRC 的相关性。我们发现，在这 6 个数据集中，所提出的度量方法显著改变了度量排名中的 5 个数据集。

    Jul, 2024

  • Top-k 误差的损失函数：分析与洞见

    该论文提出了一种基于 softmax 和多类别 SVM 损失函数的新的 top-k 损失函数，并且进行了实验性的对比研究，结果表明这些新的损失函数的表现通常优于 softmax 函数，尤其是在速度方面具有优势。

    Dec, 2015

  • 优化 AUC 是否划算？

    通过提出一种高效的算法 AUC-opt 来寻找证明最优 AUC 的线性分类器，并且证明问题在一定条件下是 NP 完全的；此算法在实验中证明相较于其他方法有所改善，但在大多数测试数据中表现并不如标准分类器。

    Jun, 2023

  • 薛定谔的门槛：当 AUC 不能预测准确度

    使用 AUC 度量方式评估和比较不同模型，但该方法在应用中可能与实际精度偏差较大，因此需探索不同的校准模式和测试校准数据与方法来获取更真实的模型性能。

    Apr, 2024

  • 通过直接优化 ROC 曲线下的局部面积来实现高效行人检测

    提出了一种使用结构化学习直接优化 ROC 曲线下假阳性率范围内的部分面积的新型集成学习方法，该方法有效地训练出最先进的行人检测器。

    Oct, 2013

  • 大数据和人工智能时代的 AUC 最大化调查

    本文概述了过去 20 年中与 AUC 最大化相关的文献，不仅提供全面的文献综述，还从公式到算法和理论保证提供了详细的解释和比较，并对深度学习 AUC 最大化的剩余和新兴问题进行了讨论。提供未来工作的建议。

    Mar, 2022