基于框架的分类外分布检测基准及其在 ImageNet 上的应用
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力,并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力,结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性,因此为开发下一代 OOD 检测方法提供了有用的见解。
Jul, 2021
本篇论文提出了两种方法,用于加强 ODIN 检测方法在不需经过 out-of-distribution 数据训练或调整的情况下的性能表现,这两种方法包括对置信度打分的分解以及对输入数据的改进预处理。文章还对两种分布偏移(语义偏移和非语义偏移)的问题上,展开了深入细致的分析。
Feb, 2020
提出一种新的测试集 NINCO 以及相应的合成 OOD 单元测试来更准确地评估模型在 Out-of-distribution 检测中的表现,并针对预训练对 OOD 检测性能的影响进行了详细的评估。
Jun, 2023
基于预训练网络的提出高斯分布,通过权重参数抽样区分正常数据和超出分布的数据,证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练,并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19%和增加 AUROC 分数最多 13.94%来实现了令人满意的超出分布的辨别性能。
Oct, 2023
通过对 20 种最先进的 OOD 检测方法进行大量实验,我们发现类标签噪声对 OOD 检测有重要影响,现有方法中错误分类的 ID 样本与 OOD 样本之间的差异较小是一个被忽视的限制。
Apr, 2024
本文介绍了一种针对 out-of-distribution(OOD)检测的创新类相关性学习方法,该方法在 OOD 管道中策略性地利用了类间关系,显著增强了 OOD 检测能力。在包括通用图像分类数据集(近 OOD 和远 OOD 数据集)的多样数据集上进行的大量实验表明,我们的方法在 OOD 检测方面优于现有技术。
Sep, 2023
本文定义三类 Out-of-Distribution Detection 的示例,并在医学图像的三个领域中对常见的方法进行基准测试。结果表明,尽管这些方法对某些类别的 OOB 样本产生良好结果,但它们未能识别接近训练数据分布的图像,作者发现简单的二元分类器在特征表示上具有最佳的平均精度和 AUPRC。
Jul, 2020
本文中,我们通过研究生成 “有效” 的 OOD 样本的复杂性,分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络(例如变分自编码器)生成这些样本的新算法,然后训练一个 $n+1$ 分类器来检测 OOD,其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较,实验表明我们的方法总体上表现更好。
Oct, 2019