CVPRJan, 2023

从自然语言监督中学习开放词汇语义分割模型

PDF
TL;DR本文提出一种基于 Transformer 的模型用于开放词汇语义分割（Open-Vocabulary Semantic Segmentation, OVS），该模型通过使用网络爬虫图像 - 文本对进行预训练，并提出了两种代理任务和数据集以提高训练效率和分割结果。在三个基准数据集上实现了优异的零 - shot 迁移效果。
open-vocabulary semantic segmentationtransformer-based modelpre-trainingproxy taskszero-shot transfer
发现论文，激发创造
  • 无需口罩的 OVIS：无需手动标注口罩的开放词汇实例分割

    本研究提出了一种基于 Open-Vocabulary（OV）和伪标注掩模的无掩模 OVIS 路线方法，以在弱监督学习条件下学习基本和新颖类别的实例分割模型，从而克服了现有实例分割模型中标注困难的问题并取得更好的性能结果。

    Mar, 2023

  • OpenVIS: 开放词汇视频实例分割

    本研究提出和研究了一项新的计算机视觉任务，名为 OpenVIS，该任务旨在根据对应的文本描述同时分割，检测和跟踪视频中的任意对象。通过开放词汇的设计，OpenVIS 可以识别所需类别的对象，而不管这些类别是否包括在训练数据集中。为了实现这一目标，本文提出了一个由两个阶段组成的流程，首先利用基于查询的蒙版提议网络生成所有潜在对象的蒙版，并通过预先训练的 VLM 预测其对应的类别，其次通过提议后处理方法更好地适应预训练的 VLMs，以避免扭曲和不自然的提议输入。

    May, 2023

  • 视觉语言模型中无需标签的开放词汇语义分割的即插即用稠密提取

    通过大规模视觉 - 语言模型，我们提出了一种简单但非常有效的无需训练的技术，Plug-and-Play 开放词汇语义分割（PnP-OVSS），并通过 Salience Dropout 技术实现了与现有技术相比的显着改善。

    Nov, 2023

  • 开放词汇检测和分割综述：过去、现在和未来

    计算机视觉中的目标检测和分割作为最基本的任务，在深度学习时代取得了巨大的进展。然而，由于昂贵的手动标注，现有数据集中的标注类别往往规模较小且预定义，即最先进的检测器和分割器无法推广到开放词汇之外。因此，近年来越来越多的关注集中在开放词汇检测（OVD）和分割（OVS）上。在本调研中，我们提供了对过去和最新 OVD 和 OVS 发展的全面审查。为此，我们根据任务类型和方法学开发了一个分类法。我们发现，对于不同的方法学，包括：视觉 - 语义空间映射、新颖的视觉特征合成、区域感知训练、伪标签、基于知识蒸馏和基于迁移学习的方法，弱监督信号的许可和使用可以很好地区分。所提出的分类法在不同任务之间是通用的，包括目标检测、语义 / 实例 / 全景分割、三维场景和视频理解。在每个类别中，详细讨论了其主要原则、关键挑战、发展路线、优点和缺点。此外，我们还对每个方法的关键组成部分进行了基准测试。最后，我们提供了一些有前途的方向，以激发未来的研究。

    Jul, 2023

  • 稳健的跨模态伪标记开放词汇实例分割

    本文提出一种跨模态伪标签（cross-modal pseudo-labeling）框架，用于面向开放词汇的实例分割，通过与对象掩膜的视觉特征对齐，实现对字词语义中的新类别进行标记，从而自我训练出一个学生模型，缓解了伪掩膜中存在的噪声干扰所带来的不良影响，相比现有工作，在 MS-COCO 和 Open Images & Conceptual Captions 数据集上分别实现了 4.5% 和 5.1% 的 mAP 得分提高。

    Nov, 2021

  • 探索简化开放词汇语义分割

    通过 S-Seg 模型，我们可以实现准确的像素级别标签分配，无需依赖于图像级别的 VL 模型、地面实况掩码和自定义分组编码器，并且可以在多个测试数据集上进行良好的泛化而无需进行微调。

    Jan, 2024

  • 语义辅助校准的开放词库分割

    本文通过使用 CLIP 的广义上下文先验，通过校准在词汇内和领域偏置的嵌入空间，研究开放词汇分割（OVS）。为了解决这一挑战，我们提出了一个称为 Semantic-assisted CAlibration Network（SCAN）的方法，并引入了广义语义先验以避免在已知类别上崩溃。此外，我们还提出了一种名为 Semantic-Guided IoU（SG-IoU）的新度量标准，以解决现有评估系统忽略分类间语义重复的问题。

    Dec, 2023

  • 无配对掩码 - 文本监督下的开放词汇分割

    使用独立的图像 - 蒙版和图像 - 文本对，利用不配对的蒙版 - 文本监督，提出了一种新的弱监督开放词汇分割框架 (Uni-OVSeg)，通过利用自信的蒙版预测和文本描述中的实体，在 CLIP 嵌入空间中关联一组二进制蒙版和实体，采用大型视觉 - 语言模型 (LVLM) 对文本进行精炼，设计多尺度集成以稳定蒙版和实体之间的匹配，相较于仅使用文本进行弱监督的方法，在 ADE20K 数据集上实现了 15.5% mIoU 的显著改进，在具有挑战性的 PASCAL Context-459 数据集上甚至超过了完全监督的方法。

    Feb, 2024

  • 开放词汇分割的可转移和原则性效率

    通过利用较小、训练成本更低的模型，本论文的核心策略旨在实现与基于大型视觉语言基础模型的先前开放词汇分割工作相媲美甚至更好的性能，以解决开放词汇分割（OVS）方法面临的高计算开销问题，并在各种 OVS 基准测试中展示了我们在分割准确性和计算成本之间卓越的平衡。

    Apr, 2024

  • 开放词汇伪装物体分割

    最近，大规模视觉语言模型（VLM）的出现，如 CLIP，为开放世界的物体感知打开了道路。我们提出了一个新的任务，开放词汇伪装的物体分割（OVCOS），并构建了一个包含 11,483 个精选图像和细粒度注释的大规模复杂场景数据集（OVCamo）。通过集成类别语义知识的指导和依赖边缘和深度信息的视觉结构线索的补充，所提出的方法可以有效地捕捉伪装对象。此外，这个有效的框架在我们的 OVCamo 数据集上也超过了先前状态 - of-the-art 的开放词汇语义图像分割方法。借助提出的数据集和基线，我们希望这个具有更多实际价值的新任务能进一步扩展开放词汇密集预测任务的研究。

    Nov, 2023