COCO-O:自然分布偏移情况下的目标检测器基准测试
该研究提供了对三种最新的开放词汇基础目标检测模型(OWL-ViT、YOLO World 和 Grounding DINO)的零样本能力的全面鲁棒性比较,通过在包含分布转移的 COCO-O 和 COCO-C 基准上进行实验揭示了模型鲁棒性的挑战。
Apr, 2024
本文引入 OOD-CV 数据集,并发现某些干扰因素有更强烈的负面影响;当前的提高鲁棒性的方法只有微弱的效果,甚至可能削弱鲁棒性;我们的数据集提供了一个丰富的测试床,以研究鲁棒性,并有助于推进这一领域的研究。
Nov, 2021
我们引入了 OOD-CV-v2 数据集,其中包括了 10 个物体类别的姿态、形状、纹理、上下文和天气条件之外的分布数据,以提高图像分类、物体检测和 3D 姿态估计模型的鲁棒性性能。经过大量的实验,我们发现当前的提高鲁棒性方法只有微小的作用,并且可能会降低鲁棒性;同时,在卷积和 transformer 架构之间没有明显的差异。
Apr, 2023
本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架,并将该技术应用于 ImageNet 数据集,分析结果揭示了多个新观察,包括知识蒸馏能够一致提高分布外实例检测性能,ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。
Feb, 2023
计算机视觉应用中,现有的稳健性基准测试依赖于对数字图像的扰动,从而偏离了图像获取过程中发生的分布转变。为了弥合这一差距,我们引入了一个新的分布转变数据集 ImageNet-ES,该数据集由一个真实相机在一个可控实验环境中直接捕获的 202k 张图像组成。通过这个新数据集,我们评估了超出分布范围 (Out-of-Distribution, OOD) 检测和模型稳健性。我们发现,现有的 OOD 检测方法无法应对 ImageNet-ES 中的协变量转变,这意味着应重新审视 OOD 的定义和检测,以适应真实世界的分布变化。我们还观察到,通过学习环境和传感器的变化,模型在 ImageNet-C 和 - ES 方面都更加稳健,这是在现有数字增强的基础上的补充。最后,我们的结果表明,通过相机传感器控制有效地减轻转变可以显著提高性能,而无需增加模型大小。通过这些发现,我们的基准测试可能有助于未来关于计算机视觉稳健性、OOD 和相机传感器控制的研究。我们的代码和数据集可在此 https URL 找到。
Apr, 2024
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
现有研究在提高对抗鲁棒性方面取得了很大进展,但通常只在与训练数据相同分布的数据上进行测试,即内分布(ID)测试。然而,如何在输入分布转移(即出分布(OOD)测试)下实现这种鲁棒性的泛化仍不清楚。因此,我们提出了一个名为 OODRobustBench 的基准来全面评估 OOD 对抗鲁棒性,使用 23 种数据集级的转移(即输入分布中的自然转移)和 6 种威胁级的转移(即未知的对抗威胁模型)。OODRobustBench 用于评估 706 个稳健模型,使用 60.7K 个对抗性评估。这个大规模分析显示:1)对抗鲁棒性在 OOD 泛化问题上存在严重问题;2)ID 鲁棒性与 OOD 鲁棒性在许多分布转移下呈正线性相关,这使得可以从 ID 鲁棒性预测 OOD 鲁棒性。基于这一点,我们能够预测现有强化训练方案的 OOD 鲁棒性的上限。研究结果表明,实现 OOD 鲁棒性需要设计超出传统方法的新方法。最后,我们发现额外数据、数据增强、先进的模型架构和特定的正则化方法可以提高 OOD 鲁棒性。值得注意的是,与基准相比,发现的训练方案在威胁转移下表现出明显更高的鲁棒性,同时保持高的 ID 鲁棒性,为多攻击和未知攻击的鲁棒性提供新的有希望的解决方案。
Oct, 2023
提出一种新的测试集 NINCO 以及相应的合成 OOD 单元测试来更准确地评估模型在 Out-of-distribution 检测中的表现,并针对预训练对 OOD 检测性能的影响进行了详细的评估。
Jun, 2023
基于预训练网络的提出高斯分布,通过权重参数抽样区分正常数据和超出分布的数据,证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练,并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19%和增加 AUROC 分数最多 13.94%来实现了令人满意的超出分布的辨别性能。
Oct, 2023
通过广泛的实验,我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感,并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。
Oct, 2023