Oct, 2022

基于 AUC 的选择性分类

PDF
TL;DR本文提出了一种模型不可知的方法，将一个选择函数与给定的概率二元分类器相关联，以最优化 AUC，并且通过使用 AUCROSS 算法来取得成功，从而在交换覆盖率和 AUC 之间达到最佳平衡。
发现论文，激发创造
  • 克服选择性分类系统评估中的常见缺陷

    选择性分类方法可以在低置信度预测时拒绝，可靠地将基于机器学习的分类系统应用于临床诊断等实际场景。本研究定义了多阈值评估度量在选择性分类中的 5 个要求，涉及任务对齐、可解释性和灵活性，并展示了当前方法未能满足这些要求。我们提出了广义风险覆盖曲线下的面积（AUGRC），该曲线满足所有要求，并可直接解释为未检测到故障的平均风险。通过综合评估 6 个数据集和 13 个置信度评分函数的广泛基准，我们在实证上证明了 AUGRC 的相关性。我们发现，在这 6 个数据集中，所提出的度量方法显著改变了度量排名中的 5 个数据集。

    Jul, 2024

  • 一元 ROC 曲线下面积的界

    本文提出了一种新的替代损失函数来优化 AUC，避免了训练数据之间的成对比较，具有线性的时间和存储复杂度，并对在线学习和批处理算法进行实验以说明其有效性。

    Apr, 2018

  • 基于正类未标记学习的半监督 AUC 优化

    本文提出了一种新的半监督 AUC 优化方法，不需要强限制假设，其基于正例和未标记数据的 AUC 优化方法（PU-AUC），并将其与监督 AUC 优化方法结合来实现半监督学习，理论证明了未标记数据对于 PU 和半监督 AUC 优化方法的泛化性能的改善有帮助，并通过实验证明了所提出方法的实用性。

    May, 2017

  • 一遍 AUC 最优化

    本研究提出一种基于回归的算法和一种随机算法，用于一次遍历训练数据集并进行 AUC 优化，可以高效地处理高维数据，并且只需要在内存中维护训练数据的前两阶统计量。

    May, 2013

  • 优化 AUC 是否划算？

    通过提出一种高效的算法 AUC-opt 来寻找证明最优 AUC 的线性分类器，并且证明问题在一定条件下是 NP 完全的；此算法在实验中证明相较于其他方法有所改善，但在大多数测试数据中表现并不如标准分类器。

    Jun, 2023

  • 研究 AUC 指标的失效模式并探索安全关键应用系统评估的替代方法

    本研究提出了三个度量指标来解决现有度量指标在选择性回答方面存在的局限性，实验结果表明，性能更好的选择性回答模型并不一定是较新或较大的预训练模型。这些发现有望促进针对安全关键应用的更好模型的发展。

    Oct, 2022

  • 一种强健的 AUC 最大化框架，同时进行异常值检测和特征选择用于正 - 未标注分类

    提出了一个强健的学习框架，它将 AUC 最大化，异常值检测和特征选择相结合，以解决正样本未标记（Positive-Unlabeled）分类问题。通过理论分析和实验验证，表明该模型是有效的。

    Mar, 2018

  • 大数据和人工智能时代的 AUC 最大化调查

    本文概述了过去 20 年中与 AUC 最大化相关的文献，不仅提供全面的文献综述，还从公式到算法和理论保证提供了详细的解释和比较，并对深度学习 AUC 最大化的剩余和新兴问题进行了讨论。提供未来工作的建议。

    Mar, 2022

  • 多个未标记数据集的 AUC 优化

    本文研究如何从多个未标注数据集中构建一个 AUC 优化模型，提出了一种称为 U^m-AUC 的方法，将 U^m 数据转化为多标签 AUC 优化问题，可以有效地进行理论与实证研究。

    May, 2023

  • AUC 两两优化的一致性

    本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件，并证明了指数损失和逻辑损失与 AUC 一致，但铰链损失是不一致的。基于这个结果，本文还推导了一些与 AUC 一致的损失函数，进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限，并发现 AdaBoost 和 RankBoost 具有相同的指数代理损失。

    Aug, 2012