CVPRDec, 2021

使用文本和图像提示进行图像分割

PDF
TL;DR本文提出了一种基于文本或图像提示产生图像分割结果的模型，使用 CLIP 模型并引入 Transformer-based decoder 实现了对于任意提示的图像分割。经过对短语切割数据集进行扩展训练，该模型可以生成二进制的分割结果。我们发现该模型不仅可适应于三种标准的分割任务，而且可以适应于任何文本或图像提示的二进制分割任务。
image segmentationclip modeltransformer-based decoderprompt-based segmentationbinary segmentation
发现论文，激发创造
  • 通过图像提示构建训练无关的开放世界分割基础模型

    通过使用图像概念传达的视觉概念，本研究首次探索了使用基础模型进行开放世界理解的方法，提出了一种名为图像提示分割（IPSeg）的新方法，该方法利用了图像提示技术，通过提取强大的特征，并通过新颖的特征交互模块将输入图像的表示与提示图像的表示进行匹配，以生成突出显示输入图像中目标对象的点提示，并进一步利用生成的点提示来指导 Segment Anything Model 对输入图像中的目标对象进行分割，从而消除了繁琐的训练过程，提供更高效和可扩展的解决方案。

    Oct, 2023

  • 通过提示实现任意分词

    我们提出了一个统一的、可提示的模型，能够同时分割、识别和描述任何物体。与 SAM 不同的是，我们通过视觉提示在野外构建多用途区域表示。我们使用来自具有 50 亿参数的经过预训练的 CLIP 模型的大规模分割掩码，例如 SA-1B 掩码，和语义先验训练一个可泛化的模型。通过将语义令牌添加到每个掩码令牌中，我们构建了一个可提示的图像解码器，语义令牌负责在预定义的概念空间中学习语义先验。通过在掩码令牌上进行分割和在语义令牌上进行概念预测的联合优化，我们的模型展现了强大的区域识别和定位能力。通过从头开始训练一个 3800 万参数的因果文本解码器，我们在 Visual Genome 区域描述任务上取得了 CIDEr 得分 150.7 的新记录。我们认为这个模型可以作为一个多功能区域级图像分词器，能够为广泛的感知任务编码通用区域上下文。

    Dec, 2023

  • 视觉背景提示

    本文介绍了一种通用的视觉上下文提示框架，以支持涂鸦、方框和点等各种提示类型，并进一步改进以支持任意数量的上下文。通过在 COCO 和 SA-1B 上进行联合训练，我们的模型在 COCO 上达到 57.7 PQ，在 ADE20K 上达到 23.2 PQ。

    Nov, 2023

  • 使用小视觉提示进行单次和部分监督的细胞图像分割

    本文介绍了一种基于深度学习的微观细胞图像语义分割，提出了针对数据量少的高效学习框架，并提出了一次学习和部分监督学习这两种学习策略以及使用小提示图像的新型分割方法。实验结果证明，与传统方法相比，提出的方法提高了 Dice 系数 (DSC)。

    Apr, 2023

  • PartSeg: 通过部位感知提示学习的少样本部分分割

    使用 CLIP 等强大的预训练图像语言模型在很少标记样本的情况下，开发了一种名为 PartSeg 的新方法，用于基于多模态学习的少样本部件分割任务，该方法利用部件感知提示学习生成部件特定的提示，从而使 CLIP 模型更好地理解 “部件” 的概念并充分利用其文本空间，实验结果在 PartImageNet 和 Pascal_Part 数据集上证明了该方法的最新性能。

    Aug, 2023

  • 以低延迟、高质量和多样化提示的方式重新思考交互式图像分割

    SegNext 是下一代交互式分割方法，具有低延迟、高质量和多样化的支持，通过引入密集设计，细化各种视觉提示的表示，提高了综合型模型的分割质量，在 HQSeg-44K 和 DAVIS 上表现出色。

    Mar, 2024

  • 基于文本数据的图像标题生成与交互提示

    TIPCap 是一种基于文本数据的交互提示的图像标题生成方法，通过减少对配对数据的依赖性、构建驱动多变量高斯分布的映射模块以缓解模态差异，并在生成标题之前引入可选的提示信息，优于其他弱监督或无监督的图像标题生成方法，并在 MS-COCO 和 Flickr30K 等常用数据集上达到了最新的最优性能。

    Mar, 2024

  • 仅使用文本监督在视觉 - 语言模型中学习提示

    本研究提出了一种使用仅文本数据学习通用提示的方法，通过将 LLL（large language models）中的上下文数据映射到学习到的提示中，实现了零样本转移，并在 4 个基准测试上进行了广泛评估。

    Jan, 2024

  • 基于文本和点击输入的明确无歧义开放词汇实例分割

    我们提出了一种新的分割过程，即文本 + 点击分割，其中模型接受图像、描述类别的文本短语和指定要分割的实例的单击作为输入，相比以往方法，我们利用开放词汇的图像 - 文本模型支持广泛的文本提示，通过在文本提示上调节分割结果提高了对于新颖或未见类别的分割准确性。

    Nov, 2023

  • 通过图像记号进行语义提示的持续学习

    我们介绍了一种名为 I-Prompt 的方法，它是一种与任务无关的方法，专注于图像令牌的视觉语义信息，以消除任务预测，并在四个基准测试中达到了竞争性能，同时与最先进的方法相比显著减少了训练时间。通过大量实验，我们证明了我们的方法在各种场景下的优越性。

    Mar, 2024