朝着外部分布检测的现实基准

Apr, 2024

Toward a Realistic Benchmark for Out-of-Distribution Detection

Pietro Recalcati, Fabio Garcea, Luca Piano, Fabrizio Lamberti, Lia Morra

TL;DR深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

Abstract

deep neural networks are increasingly used in a wide range of technologies and services, but remain highly susceptible to out-of-distribution (OOD) samples, that is, drawn from a different distribution than the original training set. A common approach to address this issue is to endow

deep neural networks out-of-distribution samples ood detection techniques comprehensive benchmark confidence-based techniques

发现论文，激发创造

基于框架的分类外分布检测基准及其在 ImageNet 上的应用

本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架，并将该技术应用于 ImageNet 数据集，分析结果揭示了多个新观察，包括知识蒸馏能够一致提高分布外实例检测性能，ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。

Feb, 2023

分类器中的数据分布外检测 via 生成

本文中，我们通过研究生成 “有效” 的 OOD 样本的复杂性，分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络（例如变分自编码器）生成这些样本的新算法，然后训练一个 $n+1$ 分类器来检测 OOD，其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较，实验表明我们的方法总体上表现更好。

Oct, 2019

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024

神经网络的鲁棒性外部分布检测

本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

Mar, 2020

深度最近邻实现的超范围检测

本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

Apr, 2022

In or Out? 修正 ImageNet 数据集的识别准确度

提出一种新的测试集 NINCO 以及相应的合成 OOD 单元测试来更准确地评估模型在 Out-of-distribution 检测中的表现，并针对预训练对 OOD 检测性能的影响进行了详细的评估。

Jun, 2023

扩散去噪平滑在认证和对抗鲁棒的 ODD 检测中的应用

研究机器学习中如何确定训练分布和 ODD（Out-Of-Distribution）样本的检测机制，提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术，在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13％/ 5％的提高，并在分布内样本上提供高水平的认证和敌对鲁棒性。

Mar, 2023

基于置信度的越界检测：一项比较研究与分析

通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力，并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力，结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性，因此为开发下一代 OOD 检测方法提供了有用的见解。

Jul, 2021

可证明鲁棒性的无需付出昂贵代价的异常检测

研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

OpenOOD: 广义越界检测基准测试

本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

Oct, 2022