提出一种基于DETR模型和Transformer模型的开放词汇检测器OV-DETR，该模型能够通过自然语言或示例图像输入，检测任何物体。通过在LVIS和COCO数据集上进行广泛实验，该模型证明了显著的性能提升。

Mar, 2022

本文提出了一种基于CLIP模型和图像水平监督的对象中心对齐的方法，运用伪标注实现高质量对象提议并在训练过程中扩展词汇表，通过新的权重传递函数将两种对象对齐策略结合，实现了在OVD方案中对象和图像中心表示的最小化差距。在COCO数据集上，我们的方法在新颖类别上取得了36.6的AP50表现，绝对值超过了以前的最佳性能。对于LVIS，我们在罕见类别上超越了最新的ViLD模型达5.0的掩膜AP，总体提高3.4。

Jul, 2022

提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象-语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像-文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在LVIS等新类别上实现了32.0％的mAP和21.7％的掩膜mAP等卓越性能。

Nov, 2022

本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前OVOD方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。

Jun, 2023

基于检测导向的图像-文本预训练的新的开放词汇检测方法用于填补图像级预训练和开放词汇对象检测之间的差距，通过使探测器头从嘈杂的图像-文本对中学习，我们的方法能够利用对比损失学习到新出现的对象-语义线索，在LVIS和COCO基准测试中均获得了非常有竞争力的结果，并在转移检测设置中显著优于基线。

Sep, 2023

使用开放词汇的目标检测方法，通过利用预训练的视觉语言模型的零样本分类能力，直接对所有可能的新类别的建议进行分类，而不需要额外的注释或数据集。

Oct, 2023

MM-Grounding-DINO是一个开源、综合且易于使用的基线模型，通过使用丰富的视觉数据集进行预训练和各种检测和定位数据集进行微调，对Grounding-DINO模型进行了全面分析和复现，实验证明了其优于Grounding-DINO的效果，并将所有模型发布给研究社区。

Jan, 2024

通过利用较小、训练成本更低的模型，本论文的核心策略旨在实现与基于大型视觉语言基础模型的先前开放词汇分割工作相媲美甚至更好的性能，以解决开放词汇分割（OVS）方法面临的高计算开销问题，并在各种 OVS 基准测试中展示了我们在分割准确性和计算成本之间卓越的平衡。

Apr, 2024

语义层级联盟（SHiNe）是一种使用类别层次结构的新型分类器，通过在语言模型的帮助下，提高了对于不同细粒度词汇的健壮性，不需要训练且可与任何现有的OvOD检测器无缝集成，可用于图像目标检测和分类任务。

May, 2024

提出了一种名为OV-DQUO的开放词汇DETR，利用去噪文本查询训练和未知对象监督的方法，通过通配符匹配和对比学习来解决开放词汇检测器中基本类别和新类别之间的信心偏见，能够在OV-COCO和OV-LVIS基准测试上取得新的最先进结果45.6 AP50和39.3 mAP，而无需额外的训练数据。

May, 2024