弱监督语义分割问题的分段任意模型(SAM)的实证研究:WSSS 的替代方案?
使用 Segment Anything Model(SAM)结合 Class Activation Maps(CAM)生成更高质量的伪标签,用伪标签为特定类提供信号,选择相关的 mask 并用它们进行标注以产生一个更精确的伪标签,综合我们的方法提高了五种最先进的弱监督语义分割方法的平均伪标签交并比(mIoU)6.2%。
May, 2023
对 Segment Anything Model 模型进行了全面的鲁棒性研究,发现它在面对多种图像扰动时的性能普遍下降,在特定数据集上定制提示技巧和利用领域知识,可以提高模型的弹性和解决数据集特定的挑战,为实际应用提供更健壮和多功能的图像分割解决方案。
May, 2023
使用弱监督的视觉识别方法,借助预训练的视觉基础模型(SAM)中的世界知识,解决了弱监督对象检测和分割中的限制问题,并在 WSOD 和 WSIS 基准测试上显著超过了之前的最先进方法。
Feb, 2024
基于图像级标签的弱监督语义分割是有效的避免昂贵标注的解决方案。本文首先对传统方法进行全面调研,然后研究了在弱监督语义分割中视觉基础模型(如 SAM)的适用性和挑战,为该研究领域的未来发展提供了深入的见解。
Oct, 2023
这篇研究论文讨论了 Segment Anything Model 在各个领域的表现及其未来发展前景,并提供了有助于未来研究活动的洞见,以完成通用分割任务。
Apr, 2023
这项研究旨在利用预训练的基础模型,如对比语言图像预训练(CLIP)和分段任意模型(SAM),利用图像级别标签解决弱监督语义分割(WSSS)。为此,我们提出了基于 CLIP 和 SAM 的粗到精细的框架,用于生成高质量的分割种子。我们通过冻结权重的 CLIP 和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于 SAM 的分区(SAMS)模块,并将其应用于每个任务以生成粗糙或精细的种子图。此外,我们设计了一个多标签对比损失,由图像级别标签监督,和一个由生成的粗糙种子图监督的 CAM 激活损失。这些损失用于学习提示,在我们的框架中,提示是唯一需要学习的部分。一旦学习了提示,我们将每个图像以及学习的分割特定提示输入到 CLIP 和 SAMS 模块中,以生成高质量的分割种子。这些种子用作伪标签,用于训练一种现成的分割网络,就像其他两阶段的 WSSS 方法一样。实验证明,我们的方法在 PASCAL VOC 2012 上取得了最先进的性能,并在 MS COCO 2014 上获得了有竞争力的结果。
Dec, 2023
通过将 Segment Anything Model (SAM) 的伪标签作为辅助来增强半监督医学图像分割的学习过程,能够显著提升现有的半监督框架在极为有限的标注图像情况下的性能。
Dec, 2023
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023