使用开放词汇的目标检测方法，通过利用预训练的视觉语言模型的零样本分类能力，直接对所有可能的新类别的建议进行分类，而不需要额外的注释或数据集。

Oct, 2023

提出了一种新颖的开放式词汇目标检测（OVD）框架，通过学习背景提示来增强检测性能，涉及背景解释、模型过拟合和检测性能等方面的问题。在 OV-COCO 和 OV-LVIS 两个基准数据集上的评估结果表明，我们提出的方法在处理 OVD 任务时优于现有的最先进方法。

Jun, 2024

计算机视觉中的目标检测和分割作为最基本的任务，在深度学习时代取得了巨大的进展。然而，由于昂贵的手动标注，现有数据集中的标注类别往往规模较小且预定义，即最先进的检测器和分割器无法推广到开放词汇之外。因此，近年来越来越多的关注集中在开放词汇检测（OVD）和分割（OVS）上。在本调研中，我们提供了对过去和最新 OVD 和 OVS 发展的全面审查。为此，我们根据任务类型和方法学开发了一个分类法。我们发现，对于不同的方法学，包括：视觉 - 语义空间映射、新颖的视觉特征合成、区域感知训练、伪标签、基于知识蒸馏和基于迁移学习的方法，弱监督信号的许可和使用可以很好地区分。所提出的分类法在不同任务之间是通用的，包括目标检测、语义 / 实例 / 全景分割、三维场景和视频理解。在每个类别中，详细讨论了其主要原则、关键挑战、发展路线、优点和缺点。此外，我们还对每个方法的关键组成部分进行了基准测试。最后，我们提供了一些有前途的方向，以激发未来的研究。

Jul, 2023

本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前 OVOD 方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。

Jun, 2023

通过构建 $D^3$ 数据集，我们提出了一种基于二元分类子任务的基线方法，它通过重构训练数据并引入二元分类子任务来大幅改进 Referring Expression Comprehension 方法，并在 Described Object Detection 任务上超越现有方法。

Jul, 2023

本文研究了在航拍图像中的物体检测问题，提出了一种使用 CLIP 激活的学生 - 教师模型的开放词汇物体检测框架，通过同时生成高质量的候选区域和伪标签来提高新物体的检测性能。

Nov, 2023

研究着重探讨开放词汇对象检测 (OVOD) 中的问题，包括对新类别的检测性能不佳以及候选区域和对象分类阶段的局限性，并提出了一种后处理方案（AggDet），通过两种先进的衡量方法来调整信心分数和恢复误判的对象，并在 OV-COCO 和 OV-LVIS 基准上取得了显著的性能提升。

Apr, 2024

利用 Region prompting 和 Anchor pre-matching 实现 CLIP 适应开放词汇检测任务，成功应用于目标检测并在评估中超越以前的最佳性能。

Mar, 2023

利用简单的图像级别分类方法（Simple Image-level Classification）结合上下文感知的检测得分（Context-Aware Detection Scoring）模块，从全局视角利用 CLIP 模型的全局知识来优化当前 OVOD 模型，以便检测小型、模糊或遮挡的新颖 / 基础类别的难以检测的目标。

Dec, 2023

本文提出了一种解决开放词汇物体检测（OVOD）问题的方法，该方法使用共同的文本图像嵌入来为边界提案分配最接近的文本标签，并通过从前 n 个相关区域提案中检索伪标签来训练一个分类器以丢弃低质量的边界框，实验证明我们的方法在 COCO 数据集上比现有方法表现优秀，AP_novel 达到了 40.5。

Oct, 2023