PartSeg: 通过部位感知提示学习的少样本部分分割
通过使用 SegGPT 作为基础模型,分别为每个新类别使用可学习的提示语进行预测,并通过图像修复任务解决遥感领域中存在的对象大小不一致性和补丁边界的不连续性问题,同时利用图像嵌入的相似性搜索来选择提示语和减少误报预测,实验结果表明我们的方法将简单微调的 SegGPT 在 Few-shot OpenEarthMap 数据集验证集上的加权 mIoU 从 15.96 提升到 35.08。
Apr, 2024
本文介绍了一种基于深度学习的微观细胞图像语义分割,提出了针对数据量少的高效学习框架,并提出了一次学习和部分监督学习这两种学习策略以及使用小提示图像的新型分割方法。实验结果证明,与传统方法相比,提出的方法提高了 Dice 系数 (DSC)。
Apr, 2023
本文提出了一种基于文本或图像提示产生图像分割结果的模型,使用 CLIP 模型并引入 Transformer-based decoder 实现了对于任意提示的图像分割。经过对短语切割数据集进行扩展训练,该模型可以生成二进制的分割结果。我们发现该模型不仅可适应于三种标准的分割任务,而且可以适应于任何文本或图像提示的二进制分割任务。
Dec, 2021
本文提出了 MVP-SEG 多视角提示学习作为一种有效的解决方案,以实现图像像素的适应性并解决开放式词汇的语义分割,通过 MVP-SEG 可以透过多个视角优化 CLIP 特征,并通过知识转移阶段使已知类别的多视角提示学习能够强大地推广到未知类别,它在几个基准测试上显著地优于以前的方法。
Apr, 2023
本文提出了一种新的 few-shot 分割框架,基于原型表示,并将整体类表示分解为一组部分感知原型,能够捕捉多样化和细粒度的物体特征。通过利用无标签数据丰富我们的部分感知原型,提高语义对象的内部变化建模。通过在两个基准测试上进行广泛的实验评估,表明我们的方法优于以前的方法。
Jul, 2020
通过将视觉与文本对齐能力作为先验表示,本研究提出了两种训练无关的先验信息生成策略,以更可靠的指导并增强模型的泛化能力。在 PASCAL-5i 和 COCO-20i 数据集上的实验证明我们的方法在少样本分割任务中取得了明显的改进,并达到了新的最先进性能。
May, 2024
通过使用图像概念传达的视觉概念,本研究首次探索了使用基础模型进行开放世界理解的方法,提出了一种名为图像提示分割(IPSeg)的新方法,该方法利用了图像提示技术,通过提取强大的特征,并通过新颖的特征交互模块将输入图像的表示与提示图像的表示进行匹配,以生成突出显示输入图像中目标对象的点提示,并进一步利用生成的点提示来指导 Segment Anything Model 对输入图像中的目标对象进行分割,从而消除了繁琐的训练过程,提供更高效和可扩展的解决方案。
Oct, 2023
通过语言信息进行语言指导的少样本语义分割,使用视觉 - 语言预训练模型和遮罩优化来生成高质量伪语义遮罩,引入分布式原型监督方法和互补相关匹配模块来指导模型挖掘支持和查询图像的精确语义关系。在两个基准数据集上的实验表明,我们的方法为语言指导的少样本语义分割建立了新的基准,并达到了与最近的视觉指导方法竞争的结果。
Nov, 2023
本文提出了一种利用视觉 - 语言模型 CLIP 生成粗略掩模并迭代互相调整支持和查询图片的掩模预测的框架,实验结果表明该方法不仅在 PASCAL-5i 和 COCO-20i 数据集上优于最先进的弱监督方法,还能够取得与最近的有监督方法相当甚至更好的结果,并且具有出色的野外图像和非常规类别的泛化能力。
Mar, 2023
本论文提出了一种检索增强的提示学习方法(RePrompt),通过引入检索机制来对下游任务进行知识表示的缓存,该方法在 15 个视觉数据集上进行了广泛实验,包括 11 个在少样本设置下的下游任务和 4 个域泛化基准,在处理领域差异增加时取得了明显的改进。
Jun, 2023