回归基础:重新审视离分布检测基线
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务:Out-of-distribution 检测,不同于先前的研究,该方法不施加任何分布假设,因此具有更强的灵活性和普适性,在多个基准测试中证明了其有效性,并且相对强基线的 Mahalanobis 距离方法,显著降低了 24.77% 误报率 (FPR@TPR95)。
Apr, 2022
通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力,并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力,结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性,因此为开发下一代 OOD 检测方法提供了有用的见解。
Jul, 2021
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
本文探讨了图像标注中的 OOD 检测问题,并提出了评估模型性能的方法。此外,研究分析并展示了使用标题可能性得分来检测和拒绝 OOD 图像的有效性。
Jul, 2022
该论文提出了一种名为 OODformer 的新型 OOD 检测架构,利用 transformer 的上下文能力来区分内部分布和 OOD 样本,通过视觉注意力利用上下文嵌入提高了分类的通用性,在 CIFAR-10 /-100 和 ImageNet30 上取得了新的最先进成果。
Jul, 2021
本文中,我们通过研究生成 “有效” 的 OOD 样本的复杂性,分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络(例如变分自编码器)生成这些样本的新算法,然后训练一个 $n+1$ 分类器来检测 OOD,其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较,实验表明我们的方法总体上表现更好。
Oct, 2019
本文提出了一种基于线性回归的测试时间训练方法,将输入图像的特征与其推断出的异常检测 (OOD) 分数进行配对,并在实现更精确的 OOD 检测上取得了很好的效果。
Jul, 2022
本研究提出了一种新的的基于输出层的单类分类器方法用于检测深层分类器中的异常值输入,该方法无需访问 OOD 样本且在低维和高维数据集上表现出优异的性能指标。
Oct, 2019