Jul, 2023

开放词汇检测和分割综述：过去、现在和未来

PDF
TL;DR计算机视觉中的目标检测和分割作为最基本的任务，在深度学习时代取得了巨大的进展。然而，由于昂贵的手动标注，现有数据集中的标注类别往往规模较小且预定义，即最先进的检测器和分割器无法推广到开放词汇之外。因此，近年来越来越多的关注集中在开放词汇检测（OVD）和分割（OVS）上。在本调研中，我们提供了对过去和最新 OVD 和 OVS 发展的全面审查。为此，我们根据任务类型和方法学开发了一个分类法。我们发现，对于不同的方法学，包括：视觉 - 语义空间映射、新颖的视觉特征合成、区域感知训练、伪标签、基于知识蒸馏和基于迁移学习的方法，弱监督信号的许可和使用可以很好地区分。所提出的分类法在不同任务之间是通用的，包括目标检测、语义 / 实例 / 全景分割、三维场景和视频理解。在每个类别中，详细讨论了其主要原则、关键挑战、发展路线、优点和缺点。此外，我们还对每个方法的关键组成部分进行了基准测试。最后，我们提供了一些有前途的方向，以激发未来的研究。
object detectionsegmentationopen-vocabulary detectionopen-vocabulary segmentationweak supervision signals
发现论文，激发创造
  • 走向开放词汇学习：综述

    本文综述了开放式词汇学习的最新动态，强调了其与零样本学习、开放集识别和超出分布检测等相关概念的比较，并详细讨论了检测和分割等视觉场景理解任务下的具体应用。研究发现，开放式词汇学习方法在实践中更具广泛性、有效性和实用性，未来仍有许多探索余地。

    Jun, 2023

  • 从自然语言监督中学习开放词汇语义分割模型

    本文提出一种基于 Transformer 的模型用于开放词汇语义分割（Open-Vocabulary Semantic Segmentation, OVS），该模型通过使用网络爬虫图像 - 文本对进行预训练，并提出了两种代理任务和数据集以提高训练效率和分割结果。在三个基准数据集上实现了优异的零 - shot 迁移效果。

    Jan, 2023

  • OpenVIS: 开放词汇视频实例分割

    本研究提出和研究了一项新的计算机视觉任务，名为 OpenVIS，该任务旨在根据对应的文本描述同时分割，检测和跟踪视频中的任意对象。通过开放词汇的设计，OpenVIS 可以识别所需类别的对象，而不管这些类别是否包括在训练数据集中。为了实现这一目标，本文提出了一个由两个阶段组成的流程，首先利用基于查询的蒙版提议网络生成所有潜在对象的蒙版，并通过预先训练的 VLM 预测其对应的类别，其次通过提议后处理方法更好地适应预训练的 VLMs，以避免扭曲和不自然的提议输入。

    May, 2023

  • 好的开放式字词探测器的要素：一个拆解的视角

    开放词汇检测（OVD）是一种新的目标检测范式，旨在定位和识别由不受限词汇定义的未知对象。本文提出了三种 OVD 方法，并通过实验验证了这些方法在不同设置下的性能。其中，DRR 方法在 OVD-COCO 基准测试中取得了最佳表现，并相对于先前最先进水平获得了 2.8 的 AP$_{50}$ 绝对增益。

    Sep, 2023

  • 开放词汇视频异常检测

    这篇论文提出了一种能够利用预训练的大型模型来检测和分类已知和未知异常的开放词汇视频异常检测方法，并通过引入语义知识和合成异常来提高模型的性能。

    Nov, 2023

  • 开放词汇物体检测的多模式分类器

    本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前 OVOD 方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。

    Jun, 2023

  • 开放式视频实例分割

    本文提出了开放词汇视频实例分割这一新颖任务，在收集的大词汇量视频实例分割数据集上基于集成的 MindVLT 实现了该任务。实验结果表明，该方法能够有效地处理实际中从未见过的新类别，并且提供了数据集和代码以促进未来的研究。

    Apr, 2023

  • 弱监督开放词汇物体检测

    提出了一种弱监督开放式词汇目标检测（WSOVOD）框架，扩展了传统的弱监督目标检测方法，实现了对新概念的检测和仅使用图像级别标注的多样数据集的利用。

    Dec, 2023

  • 使用开放词汇部分分割技术实现更密集的结果

    本文提出了一个具有部分分割能力的检测器，可以通过多粒度对齐来预测开放词汇的物体和它们的部件分割，并通过密集语义对应将新物体解析为其部件。该方法在不同数据集上的实验表现优于基线方法，并且具有更好的数据通用性。

    May, 2023

  • 增强的物体检测：2024 年 V3Det 挑战赛上关于广泛词汇物体检测轨道的研究

    我们在 V3Det 数据集上对监督式大规模词汇视觉检测任务进行了研究，通过调整网络结构、改变损失函数和设计训练策略等一系列改进，我们的模型在 V3Det Challenge 2024 的大规模目标检测 (Supervised) 任务和 Open Vocabulary Object Detection (OVD) 任务中取得了出色的排名。

    Jun, 2024