深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力,并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力,结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性,因此为开发下一代 OOD 检测方法提供了有用的见解。
Jul, 2021
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等) 检测 out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该文提供了大量分析和见解,用以改进和理解在不受控制的环境中的 OOD 检测。
Apr, 2023
研究了使用已经训练好的神经网络分类器进行图像识别的方法,提出了一种基于分析神经网络映射空间的简单有效的方法对不在分布范围内的图像进行检测识别,成功提高了识别的准确率。
Jul, 2022
该论文提出了一种名为 OODformer 的新型 OOD 检测架构,利用 transformer 的上下文能力来区分内部分布和 OOD 样本,通过视觉注意力利用上下文嵌入提高了分类的通用性,在 CIFAR-10 /-100 和 ImageNet30 上取得了新的最先进成果。
不断进行未标注 OOD 检测的新设置,使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数,并设计了一种置信度缩放的少样本 OOD 检测器,大幅改善相关领域的强基准模型。
Jun, 2024
本文提出了一种针对视觉分类中的开放世界场景中的数据分割问题的新方法,该方法能够训练出一个专门针对原始训练集以及更大的 “背景” 数据集的 ODD(出现在分布之外的异常值)检测模型,并在测试复杂自然图像的数据集中得到了优异的表现。
Aug, 2018
通过广泛的实验,我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感,并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。
Oct, 2023
提出了一种名为 ODPC 的新方法,通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类,以便于检测,并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示,并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明,该方法可以得到最先进的结果。
Mar, 2024
通过对 20 种最先进的 OOD 检测方法进行大量实验,我们发现类标签噪声对 OOD 检测有重要影响,现有方法中错误分类的 ID 样本与 OOD 样本之间的差异较小是一个被忽视的限制。