借助大规模数据和生成模型，我们提出利用负面样本来改进基于语言的开放词汇目标检测，实验结果表明这种方法提高了性能。

Dec, 2023

使用提取与负词汇的语义相似度和从大型语言模型中取得的概念进行视觉特征增益，通过 Retrieval-Augmented Losses and visual Features (RALF) 方法，成功改进了基于 Vision-Language Models (VLMs) 的开放性词汇目标检测技术，取得了在 COCO 和 LVIS 基准数据集上的显著改进。

Apr, 2024

提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

Nov, 2022

本文提出了一种基于 SCRC 模型来实现自然语言对象检索的方法，利用空间配置和全局场景级上下文信息对网络进行评分，通过循环网络处理查询文本、本地图像描述符、空间配置以及全局上下文特征来输出概率，实现了从图像标题到任务的视觉语言知识的转移，实验结果表明我们的模型有效地利用了局部和全局信息，在不同数据集和场景中显著优于先前的基准方法，并可以利用大规模的视觉和语言数据集进行知识转移。

Nov, 2015

本研究探索语言上下文对目标检测的影响，并提出了一种增强上下文作用的方法，特别是属性等语境，以提高区域 - 词对齐性能。该方法在区域 - 词预训练方面超越了最先进技术，并通过文本 - 区域检索和短语命名分析展示了属性敏感模型的细粒度实用性。

Mar, 2023

本研究提出了一种简单而有效的方法来实现以对象为中心的开放词汇图像检索，通过从 CLIP 中提取出的密集嵌入将大规模图像检索管道的可扩展性与密集检测方法的对象识别能力相结合，从而实现了极大的提升。

Sep, 2023

该研究提出了一种名为 Pseudo Caption Labeling（PCL）的简单而有效的方法，利用图像字幕模型生成对不同角度目标实例的描述，通过这些大量的数据样本进行知识提炼，以丰富目标的属性和关系等细节，从而提高模型的性能，实验表明该方法可以与任何图像字幕模型一起使用，不需要对模型架构或训练流程进行任何限制。

Mar, 2023

该研究提出了一种基于区分式双模神经网络 (DBNet) 的方法来实现自然语言及视觉表述中的视觉实体定位，通过为分类器提供丰富的负例样本进行训练，结合广泛的文本短语，正确地将图像区域与文本短语成对为正负例，据实验证明，该方法比现有最先进方法在单个图像和多个图像上的定位以及检测都要更为准确。

Apr, 2017

本文介绍了一种基于对象描述的联合学习视觉和语言以深入了解对象的方法，并提出了两个新的架构来解决对象字幕和基于自然语言的对象检索单元。研究表明，使用混合的端到端 CNN-LSTM 网络可以有效地解决两个问题，并在推理时间非常快的同时，提供了对对象的详细理解。

Mar, 2018

本文提出了一种可扩展的对象检测流程，使用零手动标注扩展到新颖 / 不可见类别，该过程包含开放词汇表的对象检测器、区域提示学习、自我训练等四个部分，并通过对挑战性数据集的广泛实验表明了其优于现有方法。

Mar, 2022