CVPRDec, 2021

零样本语义分割解耦

PDF
TL;DR本文提出了一种新的基于分割标签的应对零样本图像语义分割任务的方法 ——ZegFormer，采用无类别分组任务（class-agnostic grouping task）和基于分割标签的零样本分类任务（zero-shot classification task on segments）两个子任务，引入大规模视觉语言模型（如 CLIP），在 PASCAL VOC 和 COCO-Stuff 等数据集上取得了较大的性能提升。
zero-shot semantic segmentationclass-agnostic grouping taskzero-shot classification tasklarge-scale vision-language modelszegformer
发现论文，激发创造
  • 零样本语义分割

    本文提出了一个新的任务：零样本语义分割，要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构，它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合，以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能，并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外，对于像 Pascal-Context 数据集中的复杂场景，我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。

    Jun, 2019

  • 一个开放词汇的零样本分割的简单框架

    通过使用冻结的仅包含视觉信息的模型和融合离散文本和语言知识的方式，我们提出了 SimZSS，一种用于开放性词汇的零样本分割的简单框架。在仅使用图像 - 标题对数据集进行训练的情况下，我们的方法利用了视觉表示的质量，并在不到 15 分钟的时间内在 8 个基准数据集中的 7 个上实现了最先进的结果。

    Jun, 2024

  • 生成式零样本学习用于三维点云语义分割

    本研究提出了一种新的基于生成模型的零样本学习方法，能够处理包括分类和语义分割在内的三维数据，在 ModelNet40 数据集上表现良好，并在 S3DIS，ScanNet 和 SemanticKITTI 数据集上进行了验证。

    Aug, 2021

  • 探索无人类标签的开放词汇语义分割

    该论文介绍了一种使用预训练的图像 - 语言模型进行零样本学习的语义分割方法，将预训练模型中的视觉概念知识转化为分割区域的语义信息表示（即 segment tokens）并应用于视觉语义分割任务中。实验结果表明，该方法在多个公共基准数据集上可以达到与有监督训练方法相竞争的效果。

    Jun, 2023

  • 零样本实例分割

    我们提出了一种新的零样本目标实例分割任务，并提出了一种用于解决此挑战的方法，该方法包括零样本检测器，语义掩模头，背景感知 RPN 和同步背景策略，并在基于 MS-COCO 数据集的新基准测试中取得了良好的性能，这将成为零样本目标实例分割领域未来研究的坚实基础。

    Apr, 2021

  • 通用的语义视觉查询生成对于零样本全景和语义分割

    为了更好地推广到看不见的类别，我们提出了条件令牌对齐和循环转换 (CONCAT)，以生成具有普适性的语义视觉查询，经过实验，在零样本全景分割 (ZPS) 上取得了 5.2% 的 hPQ 提高，并在测试中比 SOTA 快 2 倍。

    Feb, 2024

  • 利用联合嵌入空间进行广义零样本语义分割

    本文提出了一种基于边界感知回归和语义一致性损失实现零样本语义分割任务的方法，并将其与 Apollonius 校准技术相结合，提高了分类器的泛化性能。实验结果表明该方法在标准数据集上实现了最先进的性能表现。

    Aug, 2021

  • 将 CLIP 的知识转化为零样本点云语义分割

    本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。

    Dec, 2023

  • 仅需要 Token 即可进行零样本语义分割

    通过使用预训练的视觉 - 语言模型 CLIP 中的全局标记作为类别先验，建立一个新的模型 ClsCLIP，扩展为零阶段密集预测语义分割方法以及应用本地放大策略进行改进，从而实现与少样本语义分割方法相当的良好性能。

    Apr, 2023

  • 零样本语义分割的上下文感知特征生成

    本文提出了一种上下文感知特征生成方法，命名为 CaGNet，通过引入上下文模块来捕获像素级别的上下文信息，并从语义词嵌入中生成更丰富和上下文感知的特征，从而实现了零样本语义分割任务中的最先进结果。

    Aug, 2020