CVPRJun, 2024

图像嵌入平衡的开放词汇语义分割

PDF
TL;DR提出了一种名为 EBSeg 的开放词汇语义分割框架，利用自适应平衡解码器和语义结构一致性损失来解决模型在训练和新类别之间存在的语义信息差异问题。通过生成不同的图像嵌入表征用于训练和新类别以及优化基于 CLIP 的模型的泛化能力，该方法在各种基准测试中表现出超越其他方法的性能。
open-vocabulary semantic segmentationebsegadaptively balanced decodersemantic structure consistency losssam image encoder
发现论文，激发创造
  • 利用图像级标签扩展开放词汇图像分割规模

    本文提出了 OpenSeg 模型，通过学习像素的可视化分组和视觉 - 语义对齐，利用可扩展的图像级监督生成分割掩码，从而实现对图像的开放词汇的分割与组织，相对 LSeg 模型在 PASCAL 数据集上精度提高了 19.9 个百分点。

    Dec, 2021

  • 探索简化开放词汇语义分割

    通过 S-Seg 模型，我们可以实现准确的像素级别标签分配，无需依赖于图像级别的 VL 模型、地面实况掩码和自定义分组编码器，并且可以在多个测试数据集上进行良好的泛化而无需进行微调。

    Jan, 2024

  • 语义辅助校准的开放词库分割

    本文通过使用 CLIP 的广义上下文先验，通过校准在词汇内和领域偏置的嵌入空间，研究开放词汇分割（OVS）。为了解决这一挑战，我们提出了一个称为 Semantic-assisted CAlibration Network（SCAN）的方法，并引入了广义语义先验以避免在已知类别上崩溃。此外，我们还提出了一种名为 Semantic-Guided IoU（SG-IoU）的新度量标准，以解决现有评估系统忽略分类间语义重复的问题。

    Dec, 2023

  • 使用适应掩码的 CLIP 进行开放词汇语义分割

    该论文提出了一种针对开放词汇的语义分割方法，即通过预训练模型再特定训练样本上的微调和修正，来解决预训练模型在遮蔽图像上的效果问题，从而提高模型的泛化能力，并通过遮蔽抽取方法有效地提高了语义分割的效果。

    Oct, 2022

  • 无需调整的普遍监督语义分割

    本研究提出了一种无需调参的基于 CLIP 的语义分割框架，可以普遍适用于各种类型的监督。通过利用 CLIP 的零样本分类能力生成伪标签或进行开放词汇量的分割，我们解决了蒙版与 CLIP 文本嵌入之间的偏差问题，提出了一种判别偏差对齐的 CLIP 方法以获得更好的性能。我们构建了一个全局 - 局部一致性的分类器来对 SAM 蒙版进行分类，揭示了 DBA-CLIP 产生的高质量嵌入的内在结构，并展示了对噪声伪标签的鲁棒性。大量实验证实了我们方法的效率和有效性，并在各种数据集和监督类型上取得了最先进或具有竞争力的性能。

    May, 2024

  • 注重邻居：无需训练的开放词汇语义分割

    借鉴了 CLIP 模型，并通过自适应 CLIP 的可视化 transformer 来强化感知，提出了一种新的方法 NACLIP 用于训练自由的 open-vocabulary semantic segmentation (OVSS)，在 8 个流行的语义分割评估中获得了最先进的性能。

    Apr, 2024

  • 从自然语言监督中学习开放词汇语义分割模型

    本文提出一种基于 Transformer 的模型用于开放词汇语义分割（Open-Vocabulary Semantic Segmentation, OVS），该模型通过使用网络爬虫图像 - 文本对进行预训练，并提出了两种代理任务和数据集以提高训练效率和分割结果。在三个基准数据集上实现了优异的零 - shot 迁移效果。

    Jan, 2023

  • 通过对比和聚类视觉语言嵌入进行开放世界语义分割

    本文提出了一种基于图像文本交互的语义分割模型 ViL-Seg，通过无需密集标注的方式，利用网络上自然存在的图像和文本数据，学习到能够直接分割任意开放世界类别对象的能力，实验结果在三个基准数据集上优于需要数据标注的零样本分割方法。

    Jul, 2022

  • USE: 通用分段嵌入用于开放词汇库图像分割

    我们介绍了通用段落嵌入（USE）框架，该框架通过数据管道和通用段落嵌入模型，能够准确地将图像划分为各种文本定义的类别，并在开放词汇图像分割和其他下游任务中取得更好的性能。

    Jun, 2024

  • 自导引开放词汇语义分割

    通过提出自主引导的语义分割（Self-Seg）框架和基于 LLM 的开放式词汇评估器（LOVE），在不需要提供类别名称的情况下，实现了开放式词汇分割的最新成果，并与提供类别名称的方法相竞争，取得了 Pascal VOC、ADE20K 和 CityScapes 的最具竞争力的结果。

    Dec, 2023