Aug, 2023

如何评估检测的泛化能力？一种用于综合开放词汇检测的基准测试

PDF
TL;DR计算机视觉中的目标检测在最近几年取得了显著进展，从基于闭集标签到基于大规模视觉语言预训练的开放词汇检测，然而，当前的评估方法和数据集仅限于测试对象类型和参考表达的泛化能力，这并不能提供一个系统、细粒度和准确的 OVD 模型能力的基准。本文提出了一个名为 OVDEval 的新基准，包括 9 个子任务，并在常识知识、属性理解、位置理解和对象关系理解等方面进行评估。数据集经过精心创建，提供了具有挑战性的负样本，以考验模型对视觉和语言输入的真正理解。此外，我们还发现了在这些细粒度标签数据集上对模型进行基准测试时，流行的平均精度（AP）指标存在问题，并提出了一种称为非极大值抑制平均精度（NMS-AP）的新指标来解决这个问题。广泛的实验结果表明，现有的顶级 OVD 模型在除了简单对象类型之外的新任务上都失败了，证明了所提出数据集在指出当前 OVD 模型的弱点并引导未来研究方面的价值。此外，所提出的 NMS-AP 指标通过实验证明，它提供了对 OVD 模型的更真实评估，而传统 AP 指标产生了误导性的结果。数据可在 https://github.com/om-ai-lab/OVDEval 上获取。
object detectionopen-vocabulary detectionevaluation methodsbenchmarknms-ap metric
发现论文，激发创造
  • 开放式词汇属性检测

    本论文提出了开放词汇属性检测（OVAD）任务和对应的 OVAD 基准，旨在探究视觉语言模型中学习的物体级属性信息，并提供了一个干净的、密集注释的测试集和一个基准方法，包含了 117 种属性类别和 80 种物体类别的 1.4 百万注释，并通过研究几个基础模型的属性检测性能来展示基准的价值。

    Nov, 2022

  • 好的开放式字词探测器的要素：一个拆解的视角

    开放词汇检测（OVD）是一种新的目标检测范式，旨在定位和识别由不受限词汇定义的未知对象。本文提出了三种 OVD 方法，并通过实验验证了这些方法在不同设置下的性能。其中，DRR 方法在 OVD-COCO 基准测试中取得了最佳表现，并相对于先前最先进水平获得了 2.8 的 AP$_{50}$ 绝对增益。

    Sep, 2023

  • 细节决定成败：评估针对细节理解的开放词汇物体检测器

    我们在这篇论文中通过引入动态词汇生成的评估方案来探索现有开放词汇物体检测方法对物体的细粒度属性及其部分了解的程度，并通过对几种最先进的开放词汇物体检测器的评估，发现大多数现有方法难以准确捕捉和区分物体的细节，并总结了当前方法的局限性和有望克服这些缺点的研究方向。

    Nov, 2023

  • 开放词汇检测和分割综述：过去、现在和未来

    计算机视觉中的目标检测和分割作为最基本的任务，在深度学习时代取得了巨大的进展。然而，由于昂贵的手动标注，现有数据集中的标注类别往往规模较小且预定义，即最先进的检测器和分割器无法推广到开放词汇之外。因此，近年来越来越多的关注集中在开放词汇检测（OVD）和分割（OVS）上。在本调研中，我们提供了对过去和最新 OVD 和 OVS 发展的全面审查。为此，我们根据任务类型和方法学开发了一个分类法。我们发现，对于不同的方法学，包括：视觉 - 语义空间映射、新颖的视觉特征合成、区域感知训练、伪标签、基于知识蒸馏和基于迁移学习的方法，弱监督信号的许可和使用可以很好地区分。所提出的分类法在不同任务之间是通用的，包括目标检测、语义 / 实例 / 全景分割、三维场景和视频理解。在每个类别中，详细讨论了其主要原则、关键挑战、发展路线、优点和缺点。此外，我们还对每个方法的关键组成部分进行了基准测试。最后，我们提供了一些有前途的方向，以激发未来的研究。

    Jul, 2023

  • 无需训练的自信度聚合增益对开放词汇物体检测的改进

    研究着重探讨开放词汇对象检测 (OVOD) 中的问题，包括对新类别的检测性能不佳以及候选区域和对象分类阶段的局限性，并提出了一种后处理方案（AggDet），通过两种先进的衡量方法来调整信心分数和恢复误判的对象，并在 OV-COCO 和 OV-LVIS 基准上取得了显著的性能提升。

    Apr, 2024

  • 利用学习背景提示来发现开放词汇对象检测的隐含知识

    提出了一种新颖的开放式词汇目标检测（OVD）框架，通过学习背景提示来增强检测性能，涉及背景解释、模型过拟合和检测性能等方面的问题。在 OV-COCO 和 OV-LVIS 两个基准数据集上的评估结果表明，我们提出的方法在处理 OVD 任务时优于现有的最先进方法。

    Jun, 2024

  • DST-Det: 开放词汇目标检测的简单动态自训练

    使用开放词汇的目标检测方法，通过利用预训练的视觉语言模型的零样本分类能力，直接对所有可能的新类别的建议进行分类，而不需要额外的注释或数据集。

    Oct, 2023

  • 开放词汇物体检测的多模式分类器

    本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前 OVOD 方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。

    Jun, 2023

  • 揭示描述物体检测中的问题制造者

    通过构建 $D^3$ 数据集，我们提出了一种基于二元分类子任务的基线方法，它通过重构训练数据并引入二元分类子任务来大幅改进 Referring Expression Comprehension 方法，并在 Described Object Detection 任务上超越现有方法。

    Jul, 2023

  • OV-VG：开放词汇视觉定位基准

    本研究的关键词是开放式词汇学习、视觉定位、新概念、语言描述和对象检测。通过引入新颖和具有挑战性的任务，即开放式视觉定位与开放式短语定位，这项研究的目标是在语言描述和新对象的定位之间建立联系。我们提出了一种新的框架来加强对新类别的识别，并增强视觉和语言信息之间的对齐。经过广泛的实验验证，我们的提议框架在开放式视觉定位任务上始终达到了最先进的性能。

    Oct, 2023