ICLRSep, 2022

F-VLM：基于冻结视觉和语言模型的开放词汇物体检测

PDF
TL;DR本文提出了 F-VLM，一种基于 Frozen Vision and Language Models 的简单开放式识别目标检测方法，通过消除知识蒸馏和定制化预训练，简化了现有的多阶段训练管道，实验结果表明 F-VLM 实现了优异的可扩展性，对于 LVIS open-vocabulary detection benchmark 实现了 + 6.5 mask AP 的改进，并在 COCO 开放式识别目标检测基准测试和跨数据集转移检测方面也取得了很有竞争力的结果。
发现论文，激发创造
  • CVPR2024 基础 Few-Shot 目标检测挑战的解决方案

    本报告介绍了一种增强的方法来解决基础性少样本物体检测任务，利用视觉语言模型 (VLM) 进行物体检测。为解决 VLM 可能遇到的与目标概念不一致的问题，本研究提出了 VLM + 框架，把多模态大型语言模型 (MM-LLM) 集成到 VLM 中。通过 MM-LLM 生成每个类别的一系列参考表达式，根据 VLM 的预测和给定的注释，选取与每个类别最大 IoU 匹配的最佳参考表达式，并生成伪标签来细调 VLM。该方法在最终测试中达到了 32.56 mAP。

    Jun, 2024

  • 通过视觉和语言知识蒸馏进行开放式目标检测

    本文提出了一种通过视觉和语言知识蒸馏的训练方法 ViLD，使得我们可以使用预先训练的图像分类模型直接检测和分类未知类别的物体，其在 LVIS 和其他数据集上的表现超过了现有的最先进水平。

    Apr, 2021

  • 重新审视视觉语言模型下的少样本目标检测

    本论文提出了一种基于少样本目标检测的新的评估协议，旨在在任何外部数据集上预训练和微调检测器，并且通过利用联合学习策略，改进了现有方法，并在 LVIS 和 nuImages 上获得 5.9 个 AP 的提升。

    Dec, 2023

  • CogVLM：预训练语言模型的视觉专家

    CogVLM 是一种强大的开源视觉语言基础模型，通过可训练的视觉专家模块在注意力和前馈网络层之间填补了预训练语言模型和图像编码器之间的差距，实现了视觉语言特征的深度融合，而不会牺牲在自然语言处理任务上的性能， 在 10 个经典的跨模态基准测试中取得了最先进的性能，包括 NoCaps，Flicker30k 字幕，RefCOCO，RefCOCO +，RefCOCOg，Visual7W，GQA，ScienceQA，VizWiz VQA 和 TDIUC， 在 VQAv2，OKVQA，TextVQA，COCO 字幕等方面排名第二，超过或与 PaLI-X 55B 相匹配。

    Nov, 2023

  • DST-Det: 开放词汇目标检测的简单动态自训练

    使用开放词汇的目标检测方法，通过利用预训练的视觉语言模型的零样本分类能力，直接对所有可能的新类别的建议进行分类，而不需要额外的注释或数据集。

    Oct, 2023

  • LLMs 遇见 VLMs：用细粒度描述符提升开放词汇物体检测

    DVDet 是一个描述符增强的开放词汇检测器，引入条件上下文提示和分层文本描述符，实现了精确的区域 - 文本对齐以及一般的开放词汇检测训练。

    Feb, 2024

  • 开放词汇目标检测的学习目标语言对齐

    提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

    Nov, 2022

  • VinVL: 重访视觉表征在视觉语言模型中的应用

    本文通过提出一种改进的物体检测模型，生成具有更丰富视觉对象和概念的物体中心表示，从而显着提高了视觉语言任务的性能，并在七个公共基准测试中创造了新的最先进结果。

    Jan, 2021

  • 使用分层视觉语言知识蒸馏进行开放词汇单阶段检测

    本文提出了一种层次化的视觉 - 语言知识蒸馏方法 (HierKD) 用于开放词汇的单阶检测，该方法探索全局级别的知识蒸馏来传递来自预训练视觉语言模型的未知类别的知识到检测器，并将全局级别知识蒸馏和常见的实例级别知识蒸馏相结合，从而同时学习已知和未知类别的知识，实验结果表明，与最好的二级检测器相比，我们的方法在零样本检测和广义零样本检测设置下分别取得了 11.9％和 6.7％$AP_{50}$ 的增益，同时将 $AP_{50}$ 性能差距从 14％降低至 7.3％。

    Mar, 2022

  • 使用冻结视觉 - 语言模型进行开放式语义分割

    本文提出了 Fusioner 方法，将自然语言和视觉特征融合用于零样本学习，且通过在多个自监督模型上进行实验展示了 Fusioner 的普适性。实验结果表明该方法表现优异且鲁棒性强。

    Oct, 2022