CVPRNov, 2020

使用字幕的开放词汇物体检测

PDF
TL;DR本文提出了一种称为开放词汇物体检测的新型物体检测问题，利用有限数量的物体分类边界框注释和图像 - 标题对来训练物体检测器，可以在更低的成本下覆盖更广泛的物体范围，成功地解决了物体检测中监督要求高的问题，并且更具实用性和效率，可以检测和定位那些未在训练过程中提供边界框注释的物体，无监督和零样本方法都无法做到如此高的准确性。
发现论文，激发创造
  • 带伪边界框标签的开放词汇目标检测

    本研究提出一种方法，从大规模图像 - 字幕对中自动生成多样物体的伪包围框注释，以扩大训练基础类别的范围，并通过实验证明该方法在各种数据集上比最先进的开放词汇检测器有更好的检测结果。

    Nov, 2021

  • 读取、查看和检测：从图像 - 标题对中标注边界框

    本文提出一种使用图像标题对来进行弱监督的目标检测和短语定位的方法，并利用视觉语言（VL）模型和自监督视觉变压器（ViTs）进行实验，取得了较好的结果。

    Jun, 2023

  • 开放词汇目标检测的学习目标语言对齐

    提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

    Nov, 2022

  • Cap2Det: 学习放大弱标注的图像对象检测

    使用文本描述来训练文本分类器，并从中获取足够的信息进行目标实例的弱监督检测，从而实现对于大量自由上传图像信息数据的有效物体定位。

    Jul, 2019

  • 使用伪字幕标签进行开放词汇物体检测

    该研究提出了一种名为 Pseudo Caption Labeling（PCL）的简单而有效的方法，利用图像字幕模型生成对不同角度目标实例的描述，通过这些大量的数据样本进行知识提炼，以丰富目标的属性和关系等细节，从而提高模型的性能，实验表明该方法可以与任何图像字幕模型一起使用，不需要对模型架构或训练流程进行任何限制。

    Mar, 2023

  • CapDet: 统一密集字幕和开放世界检测预训练

    本文提出了一种名为 CapDet 的新方法，通过将开放世界检测和密集字幕任务统一到一个框架中，引入额外的密集字幕头生成区域定位的字幕，以预测给定类别列表下的结果或直接生成预测边界框的类别，并证明该方法通过加入字幕任务，提高了检测性能的概括能力，并在密集字幕任务上取得了类似 VG V1.2 上 15.44% 和 VG-COCO 数据集上 13.98% 的 MAP 等方面的最先进性能。

    Mar, 2023

  • 走向开放词汇学习：综述

    本文综述了开放式词汇学习的最新动态，强调了其与零样本学习、开放集识别和超出分布检测等相关概念的比较，并详细讨论了检测和分割等视觉场景理解任务下的具体应用。研究发现，开放式词汇学习方法在实践中更具广泛性、有效性和实用性，未来仍有许多探索余地。

    Jun, 2023

  • 基于词汇信息的零样本学习和开放集学习

    该研究提出了一种基于语义流形的加权最大间隔框架解决零样本学习中面临的挑战，包括有限标记数据、大量标签分类和开放集分类。在 Animal with Attributes 和 ImageNet 数据集上，模型表现得到了显著提高，类词汇量最高可达 310K。

    Jan, 2023

  • 零样本检测

    提出一种零样本方法，该方法通过训练一个将语义属性预测与视觉特征融合以提出所观察到和未观察到对象类别的目标边界框的端到端模型，不使用语义信息，在测试时能明显提高针对未知对象的平均精度，应用于 PASCAL VOC 和 MS COCO 数据集时观察到显著改进。

    Mar, 2018

  • 无需三维注释的开放词汇点云物体检测

    本文探讨了通过分治策略进行开放式词汇 3D 点云检测的方法，该方法使用图像预训练模型来学习定位各种对象，并连接文本和点云表示，以便根据提示文本对新对象类别进行分类，从而实现开放式词汇 3D 目标检测，同时在 ScanNet 和 SUN RGB-D 数据集上实现了显著的性能提升。

    Apr, 2023