TinySAM: 高效细分任意模型的突破
介绍了Segment Anything (SA)项目——一项新的任务、模型和图像分割数据集,该模型具有任务迁移和零样本学习的能力,并通过大规模数据集的训练,达到或超过以前完全监督结果的性能,旨在为计算机视觉的基础模型研究提供支持。
Apr, 2023
该文通过第一次全面调查介绍了受到重大关注的Meta AI Research开发的Segment anything model(SAM)的性能表现和多种应用情况,并呼吁读者对该模型进行新的研究以促进其进一步发展。
May, 2023
本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于CNN检测器结合实例分割进行图像分割的替代方案,实验结果表明该方法仅使用SAM作者发布的1/50数据集,便可在50倍的运行时速下实现与SAM方法基本相当的性能。
Jun, 2023
基于大规模Transformer模型的SAM模型制约了其在广泛现实应用中的计算成本。为解决这个问题,我们提出了轻量级SAM模型EfficientSAMs,借助图像预训练方法SAMI,通过SAM图像编码器重建特征进行视觉表征学习,并在SA-1B上微调模型,实现对图像分类、对象检测、实例分割和语义对象检测等多个视觉任务的评估。结果显示,SAMI方法在面向零样本实例分割等任务上,我们的EfficientSAMs表现优于其他快速SAM模型,达到显著增益(例如,在COCO/LVIS上的AP提高了约4个点)。
Dec, 2023
为了在资源受限的移动设备上实现实时分割任何物体,本文使用了RepViT-SAM模型,代替了SAM中的重型图像编码器,得到了具有显著改进的零样本迁移能力和近10倍更快推理速度。
Dec, 2023
通过引入SAM-Lightening,一种改进的注意力机制,称为Dilated Flash Attention,本研究在COCO和LVIS数据集上通过渐进蒸馏实现了从原始SAM的知识转移,实现了在运行时间效率和分割准确性方面显著优于最先进方法,每幅图片仅需要7毫秒的推理速度,是原始SAM的30.1倍,且内存占用只有原始SAM的3.5%。
Mar, 2024
在这篇论文中,我们提出了一种针对Segment Anything Model的后训练量化框架,即PTQ4SAM。我们通过分析SAM量化中的双峰分布特性,提出了双峰积分策略,并采用适应性颗粒度量化方法来处理SAM中的后Softmax分布,实验证明PTQ4SAM在各种视觉任务和模型变体中具有卓越的优势。
May, 2024
使用无监督SAM模型进行图像分割,通过将图像分割为实例/语义级别的片段并形成层次结构的无监督多粒度蒙版,提供了与有监督方法相媲美甚至更好的分割结果,并为有监督模型提供了改进的自我监督标签。
Jun, 2024
本研究针对Segment Anything Model(SAM)在图像分割任务上的高计算和资源需求问题,提出了一种高效的变体综述,以解决在资源有限环境下的部署挑战。通过对各类加速策略的深入分析,本论文提供了对这些高效变体的统一评估,揭示了其效率与准确性的比较,为后续研究提供了重要参考。
Oct, 2024