Aug, 2023
如何评估检测的泛化能力？一种用于综合开放词汇检测的基准测试
How to Evaluate the Generalization of Detection? A Benchmark for
Comprehensive Open-Vocabulary Detection
TL;DR计算机视觉中的目标检测在最近几年取得了显著进展，从基于闭集标签到基于大规模视觉语言预训练的开放词汇检测，然而，当前的评估方法和数据集仅限于测试对象类型和参考表达的泛化能力，这并不能提供一个系统、细粒度和准确的OVD模型能力的基准。本文提出了一个名为OVDEval的新基准，包括9个子任务，并在常识知识、属性理解、位置理解和对象关系理解等方面进行评估。数据集经过精心创建，提供了具有挑战性的负样本，以考验模型对视觉和语言输入的真正理解。此外，我们还发现了在这些细粒度标签数据集上对模型进行基准测试时，流行的平均精度（AP）指标存在问题，并提出了一种称为非极大值抑制平均精度（NMS-AP）的新指标来解决这个问题。广泛的实验结果表明，现有的顶级OVD模型在除了简单对象类型之外的新任务上都失败了，证明了所提出数据集在指出当前OVD模型的弱点并引导未来研究方面的价值。此外，所提出的NMS-AP指标通过实验证明，它提供了对OVD模型的更真实评估，而传统AP指标产生了误导性的结果。数据可在https://github.com/om-ai-lab/OVDEval上获取。