MobileSAMv2:更快的从任何物体分割到任何物体
介绍了Segment Anything (SA)项目——一项新的任务、模型和图像分割数据集,该模型具有任务迁移和零样本学习的能力,并通过大规模数据集的训练,达到或超过以前完全监督结果的性能,旨在为计算机视觉的基础模型研究提供支持。
Apr, 2023
提出了一种名为HQ-SAM的模型,该模型在保持Segment Anything Model(SAM)原始zero-shot设计,高效性和推广性的同时,赋予SAM精确切分任何对象的能力,通过深度融合输入的不同特征并引入可学习的高质量输出Token,有效提高了遮罩细节。在多种下游任务的9个不同分割数据集中展示HQ-SAM的有效性,其中有7个采用了零-shot转移协议进行评估。
Jun, 2023
该论文介绍了一种名为MobileSAM的轻量级SAM模型,其将重量级图像编码器替换为轻量级图像编码器,并且使用解耦蒸馏技术来训练模型,以便在移动设备上使用,相对于FastSAM,MobileSAM模型可缩小7倍且速度快4倍。
Jun, 2023
基于大规模Transformer模型的SAM模型制约了其在广泛现实应用中的计算成本。为解决这个问题,我们提出了轻量级SAM模型EfficientSAMs,借助图像预训练方法SAMI,通过SAM图像编码器重建特征进行视觉表征学习,并在SA-1B上微调模型,实现对图像分类、对象检测、实例分割和语义对象检测等多个视觉任务的评估。结果显示,SAMI方法在面向零样本实例分割等任务上,我们的EfficientSAMs表现优于其他快速SAM模型,达到显著增益(例如,在COCO/LVIS上的AP提高了约4个点)。
Dec, 2023
为了在资源受限的移动设备上实现实时分割任何物体,本文使用了RepViT-SAM模型,代替了SAM中的重型图像编码器,得到了具有显著改进的零样本迁移能力和近10倍更快推理速度。
Dec, 2023
我们旨在开发一个适用于摄影应用的SAM模型的版本。SqueezeSAM模型体系结构在性能和模型尺寸上相比原模型具有更高的效果,我们使用显著性物体检测生成初始分割掩码,用户可以进行交互编辑,并通过引入新的数据增强方案来实现期望点击相关物体的整体分割。
Dec, 2023
提出了一种TinySAM模型,通过知识蒸馏、后训练量化和分层分割策略,在保持零样本性能的同时大幅度减少了计算成本,进一步推动了高效分割任务的发展。
Dec, 2023
FocSAM通过Dynamic Window Multi-head Self-Attention和Pixel-wise Dynamic ReLU的优化来提高Segment Anything Model (SAM)在交互式分割方面的性能,使其与现有的分割质量最先进的方法相匹配,但只需使用该方法推理时间的约5.6%。
May, 2024
本研究针对图像和视频中的可提示视觉分割问题提出了Segment Anything Model 2(SAM 2),构建了一个用户交互的数据引擎,以收集迄今为止最大的video segmentation数据集。通过使用我们的模型,视频分割的准确性显著提高,且交互次数减少到以前方法的三分之一,展现出在图像分割方面比之前的模型更快和更精准的处理能力。
Aug, 2024
本研究针对Segment Anything Model(SAM)在图像分割任务上的高计算和资源需求问题,提出了一种高效的变体综述,以解决在资源有限环境下的部署挑战。通过对各类加速策略的深入分析,本论文提供了对这些高效变体的统一评估,揭示了其效率与准确性的比较,为后续研究提供了重要参考。
Oct, 2024