0.1% 数据高效切割
提出了一种 TinySAM 模型,通过知识蒸馏、后训练量化和分层分割策略,在保持零样本性能的同时大幅度减少了计算成本,进一步推动了高效分割任务的发展。
Dec, 2023
该论文介绍了一种名为 MobileSAM 的轻量级 SAM 模型,其将重量级图像编码器替换为轻量级图像编码器,并且使用解耦蒸馏技术来训练模型,以便在移动设备上使用,相对于 FastSAM,MobileSAM 模型可缩小 7 倍且速度快 4 倍。
Jun, 2023
本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案,实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集,便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。
Jun, 2023
基于大规模 Transformer 模型的 SAM 模型制约了其在广泛现实应用中的计算成本。为解决这个问题,我们提出了轻量级 SAM 模型 EfficientSAMs,借助图像预训练方法 SAMI,通过 SAM 图像编码器重建特征进行视觉表征学习,并在 SA-1B 上微调模型,实现对图像分类、对象检测、实例分割和语义对象检测等多个视觉任务的评估。结果显示,SAMI 方法在面向零样本实例分割等任务上,我们的 EfficientSAMs 表现优于其他快速 SAM 模型,达到显著增益(例如,在 COCO/LVIS 上的 AP 提高了约 4 个点)。
Dec, 2023
RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法,通过增强 SAM 在低质量图像上的性能,同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能,特别是在零样本条件下,在广泛的现实世界应用中具有巨大的潜力。
Jun, 2024
这篇研究论文讨论了 Segment Anything Model 在各个领域的表现及其未来发展前景,并提供了有助于未来研究活动的洞见,以完成通用分割任务。
Apr, 2023
本文提出了一种称为 PerSAM 的、无需训练的个性化方法,该方法首先通过位置先验定位目标概念,然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割,有效地适应 SAM 的私人使用。此外,我们还提出了一种高效的单次微调变体,PerSAM-F,以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg,并在具有竞争性的性能的视频对象分割上测试了我们的方法。
May, 2023
通过引入 SAM-Lightening,一种改进的注意力机制,称为 Dilated Flash Attention,本研究在 COCO 和 LVIS 数据集上通过渐进蒸馏实现了从原始 SAM 的知识转移,实现了在运行时间效率和分割准确性方面显著优于最先进方法,每幅图片仅需要 7 毫秒的推理速度,是原始 SAM 的 30.1 倍,且内存占用只有原始 SAM 的 3.5%。
Mar, 2024
对 Segment Anything Model 模型进行了全面的鲁棒性研究,发现它在面对多种图像扰动时的性能普遍下降,在特定数据集上定制提示技巧和利用领域知识,可以提高模型的弹性和解决数据集特定的挑战,为实际应用提供更健壮和多功能的图像分割解决方案。
May, 2023
我们旨在开发一个适用于摄影应用的 SAM 模型的版本。SqueezeSAM 模型体系结构在性能和模型尺寸上相比原模型具有更高的效果,我们使用显著性物体检测生成初始分割掩码,用户可以进行交互编辑,并通过引入新的数据增强方案来实现期望点击相关物体的整体分割。
Dec, 2023