Oct, 2023

通过图像提示构建训练无关的开放世界分割基础模型

PDF
TL;DR通过使用图像概念传达的视觉概念，本研究首次探索了使用基础模型进行开放世界理解的方法，提出了一种名为图像提示分割（IPSeg）的新方法，该方法利用了图像提示技术，通过提取强大的特征，并通过新颖的特征交互模块将输入图像的表示与提示图像的表示进行匹配，以生成突出显示输入图像中目标对象的点提示，并进一步利用生成的点提示来指导 Segment Anything Model 对输入图像中的目标对象进行分割，从而消除了繁琐的训练过程，提供更高效和可扩展的解决方案。
发现论文，激发创造
  • 使用文本和图像提示进行图像分割

    本文提出了一种基于文本或图像提示产生图像分割结果的模型，使用 CLIP 模型并引入 Transformer-based decoder 实现了对于任意提示的图像分割。经过对短语切割数据集进行扩展训练，该模型可以生成二进制的分割结果。我们发现该模型不仅可适应于三种标准的分割任务，而且可以适应于任何文本或图像提示的二进制分割任务。

    Dec, 2021

  • 面向任务驱动的基于模型的提示演进

    利用下游分割任务优化人工提供的提示，提出了针对 Segment Anything Model（SAM）等基础模型的即插即用的 Prompt 优化技术（SAMPOT），在胸部 X 射线图像的肺分割中取得了显著的改进，并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。

    Oct, 2023

  • 视觉背景提示

    本文介绍了一种通用的视觉上下文提示框架，以支持涂鸦、方框和点等各种提示类型，并进一步改进以支持任意数量的上下文。通过在 COCO 和 SA-1B 上进行联合训练，我们的模型在 COCO 上达到 57.7 PQ，在 ADE20K 上达到 23.2 PQ。

    Nov, 2023

  • PointSeg：基于基础模型的三维场景分割的非训练范式

    PointSeg 是一种新的无需训练的范例，借助现有的视觉基础模型来解决 3D 场景感知任务，并展示了令人印象深刻的分割性能。

    Mar, 2024

  • 使用小视觉提示进行单次和部分监督的细胞图像分割

    本文介绍了一种基于深度学习的微观细胞图像语义分割，提出了针对数据量少的高效学习框架，并提出了一次学习和部分监督学习这两种学习策略以及使用小提示图像的新型分割方法。实验结果证明，与传统方法相比，提出的方法提高了 Dice 系数 (DSC)。

    Apr, 2023

  • 基于激光增材制造的可提示缺陷分割的无监督方法

    利用基于 Vision Transformer (ViT) 的基础模型和无监督聚类生成方案，构建了一个图像分割框架，将其应用于实时孔隙分割，并在没有监督微调的情况下获得较高的骰子相似系数 (DSC)，从而实现了轻量级模型推理和无监督提示生成，旨在革新当前基于激光的增材制造流程，促进无缺陷生产和运营效率，并实现工业 4.0 的转型。

    Dec, 2023

  • 为历史图像数据集创作使用基础模型的文本 - 图像提示研究

    利用基础模型提取历史文献中的图像，并评估不同语言提示对人文学科不同级别的数据集上的效果。

    Sep, 2023

  • PartSeg: 通过部位感知提示学习的少样本部分分割

    使用 CLIP 等强大的预训练图像语言模型在很少标记样本的情况下，开发了一种名为 PartSeg 的新方法，用于基于多模态学习的少样本部件分割任务，该方法利用部件感知提示学习生成部件特定的提示，从而使 CLIP 模型更好地理解 “部件” 的概念并充分利用其文本空间，实验结果在 PartImageNet 和 Pascal_Part 数据集上证明了该方法的最新性能。

    Aug, 2023

  • 通用前景分割的显式视觉提示

    该论文提出了一个基于预训练及显式视觉提示（EVP）的统一框架，用于多个前景分割任务，其性能优于全调参及其他节约参数细调的方法，并展示了该方法在不同架构、预训练权重和任务上的可扩展性。

    May, 2023

  • 通过提示学习为实例分割定制分割基础模型

    通过 prompt 学习定制的实例分割算法，以更好地适应用户意图，并通过点匹配模块增强特征表达，从而实现更细致的分割，最终的实验结果证明了该方法的有效性。

    Mar, 2024