快速分割任何物体
提出了一种 TinySAM 模型,通过知识蒸馏、后训练量化和分层分割策略,在保持零样本性能的同时大幅度减少了计算成本,进一步推动了高效分割任务的发展。
Dec, 2023
通过输入「Segment Anything Model」(SAM)的简单提示框,并将 SAM 的结果输出作为 IS5Net 的输入,可以极大地提高高精度的二元图像分割的效果。
Dec, 2023
该论文介绍了一种名为 MobileSAM 的轻量级 SAM 模型,其将重量级图像编码器替换为轻量级图像编码器,并且使用解耦蒸馏技术来训练模型,以便在移动设备上使用,相对于 FastSAM,MobileSAM 模型可缩小 7 倍且速度快 4 倍。
Jun, 2023
这篇研究论文讨论了 Segment Anything Model 在各个领域的表现及其未来发展前景,并提供了有助于未来研究活动的洞见,以完成通用分割任务。
Apr, 2023
基于大规模 Transformer 模型的 SAM 模型制约了其在广泛现实应用中的计算成本。为解决这个问题,我们提出了轻量级 SAM 模型 EfficientSAMs,借助图像预训练方法 SAMI,通过 SAM 图像编码器重建特征进行视觉表征学习,并在 SA-1B 上微调模型,实现对图像分类、对象检测、实例分割和语义对象检测等多个视觉任务的评估。结果显示,SAMI 方法在面向零样本实例分割等任务上,我们的 EfficientSAMs 表现优于其他快速 SAM 模型,达到显著增益(例如,在 COCO/LVIS 上的 AP 提高了约 4 个点)。
Dec, 2023
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023
该文通过第一次全面调查介绍了受到重大关注的 Meta AI Research 开发的 Segment anything model(SAM)的性能表现和多种应用情况,并呼吁读者对该模型进行新的研究以促进其进一步发展。
May, 2023
本文提出了一种称为 PerSAM 的、无需训练的个性化方法,该方法首先通过位置先验定位目标概念,然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割,有效地适应 SAM 的私人使用。此外,我们还提出了一种高效的单次微调变体,PerSAM-F,以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg,并在具有竞争性的性能的视频对象分割上测试了我们的方法。
May, 2023
通过使用简单而有效的适配器将特定领域信息或视觉提示集成到分割网络中,我们的实验表明,SAM-Adapter 可以显着提高 SAM 在具有挑战性的任务中的性能,并且在我们测试的任务中甚至可以胜过专门的网络模型,并达到最先进的性能:伪装目标检测和阴影检测。
Apr, 2023
SAM 是一个通用视觉模型,虽然在医学图像分割上的分割效果不高,但其生成的掩膜、特征和稳定性分数可以用于构建和训练更好的医学图像分割模型,该论文展示了如何用 SAM 来增强常用的医学图像分割模型(例如 U-Net),两个数据集上的实验表明了我们提出方法的有效性。
Apr, 2023