May, 2023

AUC 是比较异常检测器最佳指标吗？

PDF
TL;DR本文质疑了使用接受者操作特征下的面积（AUC）是否是衡量异常检测性能的合适标准，同时提出了在实践中可能存在的偏差性；作者发现，注重在低假阳率下的 AUC 表现良好，并且仅在具有代表性的异常样本时才能比较异常检测器。这一结果提示，在许多情况下，我们应该进行主动或少数样本学习而不是纯粹的异常检测。
anomaly detectionreceiver operating characteristicsaucfalse positive ratefew-shot learning
发现论文，激发创造
  • 薛定谔的门槛：当 AUC 不能预测准确度

    使用 AUC 度量方式评估和比较不同模型，但该方法在应用中可能与实际精度偏差较大，因此需探索不同的校准模式和测试校准数据与方法来获取更真实的模型性能。

    Apr, 2024

  • 研究 AUC 指标的失效模式并探索安全关键应用系统评估的替代方法

    本研究提出了三个度量指标来解决现有度量指标在选择性回答方面存在的局限性，实验结果表明，性能更好的选择性回答模型并不一定是较新或较大的预训练模型。这些发现有望促进针对安全关键应用的更好模型的发展。

    Oct, 2022

  • 测试集 AUROC 的奇特案例

    ML 模型的尺寸和复杂性在过去十年中迅速增长，但评估其性能的方法未能跟上步伐。然而，我们认为仅考虑来自测试 ROC 曲线的得分只能对模型的性能和泛化能力提供有限的见解。

    Dec, 2023

  • 优化 AUC 是否划算？

    通过提出一种高效的算法 AUC-opt 来寻找证明最优 AUC 的线性分类器，并且证明问题在一定条件下是 NP 完全的；此算法在实验中证明相较于其他方法有所改善，但在大多数测试数据中表现并不如标准分类器。

    Jun, 2023

  • 通过直接优化 ROC 曲线下的局部面积来实现高效行人检测

    提出了一种使用结构化学习直接优化 ROC 曲线下假阳性率范围内的部分面积的新型集成学习方法，该方法有效地训练出最先进的行人检测器。

    Oct, 2013

  • 二元预测器的 ROC 和 AUC：一个可能导致误导的度量

    研究比较了二元预测变量的 ROC 曲线与 AUC 值之间的关系，在比较软件实现方法时发现线性插值法虽然最为普遍，但不一定得出最正确的性能评价。同时比较了阶梯函数插值法和 pessimistic 插值法的优缺点，建议在结果中说明插值法的使用方式。

    Mar, 2019

  • 评估 ODD 性能的超出 AUROC 等指标

    岂止是用二分类任务来衡量 out-of-distribution detection 的性能，并且几乎没有考虑到检测阈值的影响，因此我们提出了一个新的评价指标 ——Threshold Curve 下的面积（AUTC），来惩罚 ID 和 OOD 之间差异性不足的情况。

    Jun, 2023

  • 搞定预测分析中的正确问题：AUC 不是问题

    对于 ACM FAccT 最近发表的使用 AUC ROC 在多个领域进行预测分析的文章，我们对该文章进行了批评。具体来说，我们强调了该文章在度量标准比较、AUC ROC 的解释和目标误设、将准确率指标作为与 AUC ROC 比较的金标准以及仅将批评应用于 AUC ROC 等方面存在的技术性错误。我们通过重新定义该文章提出的问题，并讨论了在充分考虑这些问题的基础上，如何在明智的预测分析方法中继续使用 AUC ROC。我们最后讨论了多种度量标准的联合使用，包括机器学习偏差度量标准，以及 AUC ROC 在这种方法中的地位。与西兰花一样，AUC ROC 是有效的，但我们领域的研究人员和实践者不应仅仅依赖 AUC ROC。

    Apr, 2024

  • 大数据和人工智能时代的 AUC 最大化调查

    本文概述了过去 20 年中与 AUC 最大化相关的文献，不仅提供全面的文献综述，还从公式到算法和理论保证提供了详细的解释和比较，并对深度学习 AUC 最大化的剩余和新兴问题进行了讨论。提供未来工作的建议。

    Mar, 2022

  • 一元 ROC 曲线下面积的界

    本文提出了一种新的替代损失函数来优化 AUC，避免了训练数据之间的成对比较，具有线性的时间和存储复杂度，并对在线学习和批处理算法进行实验以说明其有效性。

    Apr, 2018