ICMLJun, 2023

开放词汇物体检测的多模式分类器

PDF
TL;DR本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前 OVOD 方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。
open-vocabulary object detectionlanguage descriptionsimage exemplarsmulti-modal classifierlvis open-vocabulary benchmark
发现论文，激发创造
  • 开探多模态上下文知识的开放词汇物体检测

    该研究论文探索了多模态背景知识在开放词汇目标检测中的作用，并提出了一种多模态背景知识蒸馏框架，通过从多模态融合转换器中学习上下文知识并应用于学生检测器，取得了显著的提升。

    Aug, 2023

  • 简化的图像级分类改进开放词汇物体检测

    利用简单的图像级别分类方法（Simple Image-level Classification）结合上下文感知的检测得分（Context-Aware Detection Scoring）模块，从全局视角利用 CLIP 模型的全局知识来优化当前 OVOD 模型，以便检测小型、模糊或遮挡的新颖 / 基础类别的难以检测的目标。

    Dec, 2023

  • 无需训练的自信度聚合增益对开放词汇物体检测的改进

    研究着重探讨开放词汇对象检测 (OVOD) 中的问题，包括对新类别的检测性能不佳以及候选区域和对象分类阶段的局限性，并提出了一种后处理方案（AggDet），通过两种先进的衡量方法来调整信心分数和恢复误判的对象，并在 OV-COCO 和 OV-LVIS 基准上取得了显著的性能提升。

    Apr, 2024

  • 利用元提示表示和实例对比优化的开放词汇目标检测

    通过使用元提示和实例对比学习方案，我们提出了一种新的框架来解决过拟合、依赖额外数据和复杂训练过程的问题，此框架在检测新类别对象方面显示出优于现有复杂技术训练的方法的良好的泛化能力。

    Mar, 2024

  • 利用学习背景提示来发现开放词汇对象检测的隐含知识

    提出了一种新颖的开放式词汇目标检测（OVD）框架，通过学习背景提示来增强检测性能，涉及背景解释、模型过拟合和检测性能等方面的问题。在 OV-COCO 和 OV-LVIS 两个基准数据集上的评估结果表明，我们提出的方法在处理 OVD 任务时优于现有的最先进方法。

    Jun, 2024

  • 好的开放式字词探测器的要素：一个拆解的视角

    开放词汇检测（OVD）是一种新的目标检测范式，旨在定位和识别由不受限词汇定义的未知对象。本文提出了三种 OVD 方法，并通过实验验证了这些方法在不同设置下的性能。其中，DRR 方法在 OVD-COCO 基准测试中取得了最佳表现，并相对于先前最先进水平获得了 2.8 的 AP$_{50}$ 绝对增益。

    Sep, 2023

  • DST-Det: 开放词汇目标检测的简单动态自训练

    使用开放词汇的目标检测方法，通过利用预训练的视觉语言模型的零样本分类能力，直接对所有可能的新类别的建议进行分类，而不需要额外的注释或数据集。

    Oct, 2023

  • OVMR: 多模式参考下的开放词汇识别

    本文通过引用由文本描述和示例图像组成的多模式线索，以不同的角度解决开放词汇识别问题，并提出了一种名为 OVMR 的方法，该方法采用两个创新组件来追求更强的类别线索嵌入。

    Jun, 2024

  • OmDet: 大规模视觉语言多数据集预训练的语言感知目标检测

    本文提出一种基于多模态预训练的语言条件检测框架，能够通过自然语言作为知识表示从不同的数据集中积累 “视觉词汇”，解决多数据集训练中的技术难题，并成功应用于超过 35 个目标检测任务，取得最新成果。

    Sep, 2022

  • 开放词汇目标检测的学习目标语言对齐

    提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

    Nov, 2022