Apr, 2024

搞定预测分析中的正确问题：AUC 不是问题

PDF
TL;DR对于 ACM FAccT 最近发表的使用 AUC ROC 在多个领域进行预测分析的文章，我们对该文章进行了批评。具体来说，我们强调了该文章在度量标准比较、AUC ROC 的解释和目标误设、将准确率指标作为与 AUC ROC 比较的金标准以及仅将批评应用于 AUC ROC 等方面存在的技术性错误。我们通过重新定义该文章提出的问题，并讨论了在充分考虑这些问题的基础上，如何在明智的预测分析方法中继续使用 AUC ROC。我们最后讨论了多种度量标准的联合使用，包括机器学习偏差度量标准，以及 AUC ROC 在这种方法中的地位。与西兰花一样，AUC ROC 是有效的，但我们领域的研究人员和实践者不应仅仅依赖 AUC ROC。
auc rocpredictive analyticsmetricstechnical inaccuraciesmachine learning bias metrics
发现论文，激发创造
  • 测试集 AUROC 的奇特案例

    ML 模型的尺寸和复杂性在过去十年中迅速增长，但评估其性能的方法未能跟上步伐。然而，我们认为仅考虑来自测试 ROC 曲线的得分只能对模型的性能和泛化能力提供有限的见解。

    Dec, 2023

  • 研究 AUC 指标的失效模式并探索安全关键应用系统评估的替代方法

    本研究提出了三个度量指标来解决现有度量指标在选择性回答方面存在的局限性，实验结果表明，性能更好的选择性回答模型并不一定是较新或较大的预训练模型。这些发现有望促进针对安全关键应用的更好模型的发展。

    Oct, 2022

  • AUC 是比较异常检测器最佳指标吗？

    本文质疑了使用接受者操作特征下的面积（AUC）是否是衡量异常检测性能的合适标准，同时提出了在实践中可能存在的偏差性；作者发现，注重在低假阳率下的 AUC 表现良好，并且仅在具有代表性的异常样本时才能比较异常检测器。这一结果提示，在许多情况下，我们应该进行主动或少数样本学习而不是纯粹的异常检测。

    May, 2023

  • 薛定谔的门槛：当 AUC 不能预测准确度

    使用 AUC 度量方式评估和比较不同模型，但该方法在应用中可能与实际精度偏差较大，因此需探索不同的校准模式和测试校准数据与方法来获取更真实的模型性能。

    Apr, 2024

  • 优化 AUC 是否划算？

    通过提出一种高效的算法 AUC-opt 来寻找证明最优 AUC 的线性分类器，并且证明问题在一定条件下是 NP 完全的；此算法在实验中证明相较于其他方法有所改善，但在大多数测试数据中表现并不如标准分类器。

    Jun, 2023

  • 多类别 ROC

    我们提供了一种基于二元矩阵因子分解模型的评估指标，通过一维向量表示来总结多类别分类的对比真阳性率和假阳性率，从而提供了多类别情况下的 ROC 曲线，并通过对这些分解向量的积分得出了对分类器性能的二元 AUC 等效总结。

    Apr, 2024

  • 二元预测器的 ROC 和 AUC：一个可能导致误导的度量

    研究比较了二元预测变量的 ROC 曲线与 AUC 值之间的关系，在比较软件实现方法时发现线性插值法虽然最为普遍，但不一定得出最正确的性能评价。同时比较了阶梯函数插值法和 pessimistic 插值法的优缺点，建议在结果中说明插值法的使用方式。

    Mar, 2019

  • 大数据和人工智能时代的 AUC 最大化调查

    本文概述了过去 20 年中与 AUC 最大化相关的文献，不仅提供全面的文献综述，还从公式到算法和理论保证提供了详细的解释和比较，并对深度学习 AUC 最大化的剩余和新兴问题进行了讨论。提供未来工作的建议。

    Mar, 2022

  • 一元 ROC 曲线下面积的界

    本文提出了一种新的替代损失函数来优化 AUC，避免了训练数据之间的成对比较，具有线性的时间和存储复杂度，并对在线学习和批处理算法进行实验以说明其有效性。

    Apr, 2018

  • 深入研究类别不平衡下的 AUROC 和 AUPRC

    通过新颖的数学分析，本文挑战并证明按照概率的观点，AUPRC（精确率 - 召回率曲线下的面积）和 AUROC（接收者操作特征曲线下的面积）可以简洁地相互关联。同时，通过对超过 150 万篇论文的大规模语言模型分析，揭示了 AUPRC 被广泛接受的先入为主观念的实证不足和误导趋势，强调了对度量标准性能的深入理解的重要性和机器学习社区中未经证实的假设的危险性。

    Jan, 2024