In or Out? 修正 ImageNet 数据集的识别准确度
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架,并将该技术应用于 ImageNet 数据集,分析结果揭示了多个新观察,包括知识蒸馏能够一致提高分布外实例检测性能,ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。
Feb, 2023
本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务:Out-of-distribution 检测,不同于先前的研究,该方法不施加任何分布假设,因此具有更强的灵活性和普适性,在多个基准测试中证明了其有效性,并且相对强基线的 Mahalanobis 距离方法,显著降低了 24.77% 误报率 (FPR@TPR95)。
Apr, 2022
通过广泛的实验,我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感,并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。
Oct, 2023
本篇论文提出了两种方法,用于加强 ODIN 检测方法在不需经过 out-of-distribution 数据训练或调整的情况下的性能表现,这两种方法包括对置信度打分的分解以及对输入数据的改进预处理。文章还对两种分布偏移(语义偏移和非语义偏移)的问题上,展开了深入细致的分析。
Feb, 2020
通过对 20 种最先进的 OOD 检测方法进行大量实验,我们发现类标签噪声对 OOD 检测有重要影响,现有方法中错误分类的 ID 样本与 OOD 样本之间的差异较小是一个被忽视的限制。
Apr, 2024
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响,并提出了一种名为 ALOE 的有效算法,该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式,可以灵活地与现有方法相结合,提高现有的 Out-of-distribution detection 方法的鲁棒性,CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。
Mar, 2020
基于预训练网络的提出高斯分布,通过权重参数抽样区分正常数据和超出分布的数据,证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练,并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19%和增加 AUROC 分数最多 13.94%来实现了令人满意的超出分布的辨别性能。
Oct, 2023
本文提出了一种针对视觉分类中的开放世界场景中的数据分割问题的新方法,该方法能够训练出一个专门针对原始训练集以及更大的 “背景” 数据集的 ODD(出现在分布之外的异常值)检测模型,并在测试复杂自然图像的数据集中得到了优异的表现。
Aug, 2018