本文介绍了一种名为 DetCLIPv2 的训练框架，该框架采用大规模图像 - 文本对以实现开放词汇目标检测。DetCLIPv2 直接从海量图像 - 文本对中学习了细粒度的单词 - 区域对齐，并通过融合来自检测、定位和图像 - 文本对数据的混合监督进行训练。DetCLIPv2 采用交替方案和低分辨率输入有效地利用了图像 - 文本对数据，取得了超过之前工作的表现。

Apr, 2023

提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

Nov, 2022

本文提出一种基于多模态预训练的语言条件检测框架，能够通过自然语言作为知识表示从不同的数据集中积累 “视觉词汇”，解决多数据集训练中的技术难题，并成功应用于超过 35 个目标检测任务，取得最新成果。

Sep, 2022

通过统一的框架，在有限的基础类别的条件下，本论文旨在同时解决定位和分类新颖目标的两个问题，提出了一种有效的 3D 新目标发现策略以及基于发现的新目标的跨模态对齐模块，通过迭代增强的对齐来统一实现了开放词汇 3D 目标检测的既定框架。

Oct, 2023

DetCo 是一种创新的对比学习方法，通过充分探索全局图像和局部图像补丁之间的对比，学习有助于目标检测的判别性表示，实验表明其不仅在目标检测方面优于现有方法，在分割，姿态估计和三维形状预测方面也显著优于监督方法。

Feb, 2021

基于检测导向的图像 - 文本预训练的新的开放词汇检测方法用于填补图像级预训练和开放词汇对象检测之间的差距，通过使探测器头从嘈杂的图像 - 文本对中学习，我们的方法能够利用对比损失学习到新出现的对象 - 语义线索，在 LVIS 和 COCO 基准测试中均获得了非常有竞争力的结果，并在转移检测设置中显著优于基线。

Sep, 2023

本文提出了一种名为 CapDet 的新方法，通过将开放世界检测和密集字幕任务统一到一个框架中，引入额外的密集字幕头生成区域定位的字幕，以预测给定类别列表下的结果或直接生成预测边界框的类别，并证明该方法通过加入字幕任务，提高了检测性能的概括能力，并在密集字幕任务上取得了类似 VG V1.2 上 15.44% 和 VG-COCO 数据集上 13.98% 的 MAP 等方面的最先进性能。

Mar, 2023

本文提出了基于任务驱动的物体检测方法，通过探索基本意义而非物体类别来提取关键属性，并使用多级思维链激励法从大规模语言模型中提取与任务、物体示例和关键视觉属性相关的知识。进一步，我们提出了一种知识条件检测框架 CoTDet，有效利用知识来增强物体识别和定位，并得到支持物体检测的合理解释。实验证明，我们的 CoTDet 方法在性能上显著优于当前最先进的方法（提升 15.6 个方框 AP 值和 14.8 个掩膜 AP 值）。

Sep, 2023

研究着重探讨开放词汇对象检测 (OVOD) 中的问题，包括对新类别的检测性能不佳以及候选区域和对象分类阶段的局限性，并提出了一种后处理方案（AggDet），通过两种先进的衡量方法来调整信心分数和恢复误判的对象，并在 OV-COCO 和 OV-LVIS 基准上取得了显著的性能提升。

Apr, 2024

通过充分利用细粒度本地图像语义并使用早期稠密对齐（EDA）方法，我们提出了一种新的视觉 - 语言模型来改进开放词汇的目标检测，相较于现有方法，我们的方法在严格的设置下表现出更好的性能，无需使用外部训练资源，例如在 COCO 数据集上将新类别的 box AP50 提高了 8.4％，在 LVIS 数据集上将稀有 mask AP 提高了 3.9%。

Sep, 2023