评估 ODD 性能的超出 AUROC 等指标

CVPRJun, 2023

Beyond AUROC & co. for evaluating out-of-distribution detection performance

Galadrielle Humblot-Renaux, Sergio Escalera, Thomas B. Moeslund

TL;DR岂止是用二分类任务来衡量 out-of-distribution detection 的性能，并且几乎没有考虑到检测阈值的影响，因此我们提出了一个新的评价指标 ——Threshold Curve 下的面积（AUTC），来惩罚 ID 和 OOD 之间差异性不足的情况。

Abstract

While there has been a growing research interest in developing out-of-distribution (OOD) detection methods, there has been comparably little discussion around how these methods should be evaluated. Given their relevance for safe(r) AI, it is important to examine whether the basis for comparing OOD detection methods is consistent with practical needs. In this

out-of-distribution detection evaluation metrics binary classification detection threshold area under the threshold curve

发现论文，激发创造

测试集 AUROC 的奇特案例

ML 模型的尺寸和复杂性在过去十年中迅速增长，但评估其性能的方法未能跟上步伐。然而，我们认为仅考虑来自测试 ROC 曲线的得分只能对模型的性能和泛化能力提供有限的见解。

Dec, 2023

提高样本外检测的三个因素

通过引入自我知识蒸馏损失、采样半难例离群数据和使用监督对比学习，我们的方法在分类准确性和离群检测性能之间取得平衡，同时提高了两个性能指标。

Aug, 2023

AUC 是比较异常检测器最佳指标吗？

本文质疑了使用接受者操作特征下的面积（AUC）是否是衡量异常检测性能的合适标准，同时提出了在实践中可能存在的偏差性；作者发现，注重在低假阳率下的 AUC 表现良好，并且仅在具有代表性的异常样本时才能比较异常检测器。这一结果提示，在许多情况下，我们应该进行主动或少数样本学习而不是纯粹的异常检测。

May, 2023

OpenOOD: 广义越界检测基准测试

本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

Oct, 2022

克服选择性分类系统评估中的常见缺陷

选择性分类方法可以在低置信度预测时拒绝，可靠地将基于机器学习的分类系统应用于临床诊断等实际场景。本研究定义了多阈值评估度量在选择性分类中的 5 个要求，涉及任务对齐、可解释性和灵活性，并展示了当前方法未能满足这些要求。我们提出了广义风险覆盖曲线下的面积（AUGRC），该曲线满足所有要求，并可直接解释为未检测到故障的平均风险。通过综合评估 6 个数据集和 13 个置信度评分函数的广泛基准，我们在实证上证明了 AUGRC 的相关性。我们发现，在这 6 个数据集中，所提出的度量方法显著改变了度量排名中的 5 个数据集。

Jul, 2024

非监督式评估未知分布检测：一种数据为中心的观点

本文是关于检测外域异常的无监督评估问题，提出了三种方法计算 Gscore 作为指标，并且引入包含 200 个真实外域数据集的新基准 Gbench 用于评估。实验结果表明，Gscore 与异常检测性能有很强的定量相关性，并且本文方法表现出了最先进的性能。

Feb, 2023

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022

贝叶斯不确定性估计在离域物体检测中的应用

基于预训练网络的提出高斯分布，通过权重参数抽样区分正常数据和超出分布的数据，证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练，并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19％和增加 AUROC 分数最多 13.94％来实现了令人满意的超出分布的辨别性能。

Oct, 2023

深入研究类别不平衡下的 AUROC 和 AUPRC

通过新颖的数学分析，本文挑战并证明按照概率的观点，AUPRC（精确率 - 召回率曲线下的面积）和 AUROC（接收者操作特征曲线下的面积）可以简洁地相互关联。同时，通过对超过 150 万篇论文的大规模语言模型分析，揭示了 AUPRC 被广泛接受的先入为主观念的实证不足和误导趋势，强调了对度量标准性能的深入理解的重要性和机器学习社区中未经证实的假设的危险性。

Jan, 2024

语义一致的异常检测

通过对抗高水平的对抗攻击在半先验条件下训练生成对抗网络来提高生成数据的多样性和质量。

Aug, 2021