基于 SAM 模型的弱监督语义分割增强伪标签
本文介绍将 SAM 应用于弱监督语义分割,作为伪标签生成流程的方法,在 PASCAL VOC 和 MS-COCO 数据集上取得了显著的改进。
May, 2023
使用弱监督的视觉识别方法,借助预训练的视觉基础模型(SAM)中的世界知识,解决了弱监督对象检测和分割中的限制问题,并在 WSOD 和 WSIS 基准测试上显著超过了之前的最先进方法。
Feb, 2024
基于图像级标签的弱监督语义分割是有效的避免昂贵标注的解决方案。本文首先对传统方法进行全面调研,然后研究了在弱监督语义分割中视觉基础模型(如 SAM)的适用性和挑战,为该研究领域的未来发展提供了深入的见解。
Oct, 2023
该论文提出了一种基于图片分类网络和概率解释 CAM 的图像级弱监督语义分割方法来改善先前弱监督下模型的性能,通过提高区域相似性和轮廓质量来增强几乎任何以前的 WSSS 方法,并在 PASCAL VOC 数据集上进行了演示。
Apr, 2023
这项研究旨在利用预训练的基础模型,如对比语言图像预训练(CLIP)和分段任意模型(SAM),利用图像级别标签解决弱监督语义分割(WSSS)。为此,我们提出了基于 CLIP 和 SAM 的粗到精细的框架,用于生成高质量的分割种子。我们通过冻结权重的 CLIP 和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于 SAM 的分区(SAMS)模块,并将其应用于每个任务以生成粗糙或精细的种子图。此外,我们设计了一个多标签对比损失,由图像级别标签监督,和一个由生成的粗糙种子图监督的 CAM 激活损失。这些损失用于学习提示,在我们的框架中,提示是唯一需要学习的部分。一旦学习了提示,我们将每个图像以及学习的分割特定提示输入到 CLIP 和 SAMS 模块中,以生成高质量的分割种子。这些种子用作伪标签,用于训练一种现成的分割网络,就像其他两阶段的 WSSS 方法一样。实验证明,我们的方法在 PASCAL VOC 2012 上取得了最先进的性能,并在 MS COCO 2014 上获得了有竞争力的结果。
Dec, 2023
本文提出了一种基于像素级原型对比度的弱监督语义分割方法,通过两种直观的先验知识,对图像的不同视角和单个视角内进行执行,旨在实施跨视图特征语义一致性规则,并促进特征空间的内部(间)类一致性(离散度),从而提高了两个强基线模型的精度,并在 PASCAL VOC 2012 上实现了新的最先进水平。
Oct, 2021
为了解决弱监督语义分割中伪掩模生成和嘈杂伪掩模监督训练的问题,我们提出了一种新的方法,利用系数变化平滑、比例伪掩模生成、假冒欠拟合和循环伪掩模等技术,取得了 PAS-CAL VOC 2012 和 MS COCO 2014 两个语义分割数据集的最新成果,在性能方面全面超越之前的结果。
Aug, 2021
本研究提出了一种基于形状信息的弱监督语义分割方法,采用了新颖的改进方法去增强模型可靠性,能够在单阶段框架内迅速高效地完成训练与推理,在 PASCAL VOC 2012 数据集上的准确率超过了现有的同类方法。
Aug, 2022
ORANDNet 是一种针对弱监督语义分割的新型集成方法,利用两个不同分类器的类激活图和课程学习,提高了伪掩模的精确性并减轻了噪声,从而显著提高了分割性能。基于此方法的扩展同样适用于其他高级弱监督语义分割模型,表明 ORANDNet 具有作为弱监督语义分割模型的最终插件的潜力。
Jun, 2024