FocSAM: 深入研究分割任何物体中的聚焦对象
本文提出了一种称为 PerSAM 的、无需训练的个性化方法,该方法首先通过位置先验定位目标概念,然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割,有效地适应 SAM 的私人使用。此外,我们还提出了一种高效的单次微调变体,PerSAM-F,以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg,并在具有竞争性的性能的视频对象分割上测试了我们的方法。
May, 2023
本文提出了一个称为 all-in-SAM 的流程,通过将 SAM 用于整个 AI 开发工作流(从注释生成到模型微调),而无需在推理阶段使用手动提示,取代了在推理阶段使用提示的方法,可以在不需要手动提示的情况下更好地完成生物医学图像分割任务,并在公共数据集 Monuseg 上的一个核分割任务中超越了最先进的方法,并且使用弱注释进行 SAM 微调的实验结果表明其性能相对于使用强像素注释数据的方法而言具有竞争力。
Jul, 2023
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023
提出了一种开放词汇的全景分割模型,通过端到端框架有机地结合了 Segment Anything Model (SAM) 和视觉 - 语言 CLIP 模型的优势。通过使用局部判别汇聚模块(LDP),克服了 SAM 的局限性,并引入了面向掩膜的选择集成算法(MASE)来自适应地提高生成掩膜的质量,从而在多个数据集上展示了很强的泛化性能,并且在开放词汇全景分割方法方面取得了显著的改进。
Mar, 2024
我们引入了一种新颖的微调框架,通过批处理基于真实掩蔽的边界框引入批量提示策略,以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。
Oct, 2023
本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案,实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集,便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。
Jun, 2023
通过对 SAM 进行自适应预训练图像编码器以进行基于检测的区域提议,我们的方法在病理学领域的两个基本分割任务中达到了与最先进模型相媲美的 F1 得分(细胞核检测)和二进制 / 多类别 panoptic(bPQ/mPQ)和掩模质量(dice),同时实现了端到端效率。
Apr, 2024
通过学习可变形偏移对图像特征进行采样来提高 Segment Anything Model (SAM) 在各种情况下的分割稳定性,并验证了该方法的有效性和优势,从而使其成为更加稳健的分割解决方案。
Nov, 2023
FoodSAM 是一种创新的框架,整合了粗糙的语义掩膜和 SAM 生成的掩膜,以提高语义分割质量,并将零样本能力扩展到实例分割和全景分割,是首个在食品图像上实现实例、全景和可提示分割的工作。
Aug, 2023
本研究介绍了一种用于自动化少样本语义分割的结构化框架,利用 Segment Anything Model(SAM)模型,并借助先前引导的掩模生成粗略像素级提示,以获得更高效的语义可辨别分割结果,实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。
Nov, 2023