MobileSAMv2:更快的从任何物体分割到任何物体
该论文介绍了一种名为 MobileSAM 的轻量级 SAM 模型,其将重量级图像编码器替换为轻量级图像编码器,并且使用解耦蒸馏技术来训练模型,以便在移动设备上使用,相对于 FastSAM,MobileSAM 模型可缩小 7 倍且速度快 4 倍。
Jun, 2023
提出了一种 TinySAM 模型,通过知识蒸馏、后训练量化和分层分割策略,在保持零样本性能的同时大幅度减少了计算成本,进一步推动了高效分割任务的发展。
Dec, 2023
本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案,实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集,便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。
Jun, 2023
通过输入「Segment Anything Model」(SAM)的简单提示框,并将 SAM 的结果输出作为 IS5Net 的输入,可以极大地提高高精度的二元图像分割的效果。
Dec, 2023
通过引入一种新型的提示驱动适配器(PA-SAM)到 Segment Anything Model (SAM) 中,提高了原始 SAM 的分割掩模质量,通过在稀疏和密集提示级别上优化面罩解码器功能,从图像中提取详细信息,实验结果表明 PA-SAM 在高质量、零样本和开放集分割方面优于其他基于 SAM 的方法。
Jan, 2024
通过学习可变形偏移对图像特征进行采样来提高 Segment Anything Model (SAM) 在各种情况下的分割稳定性,并验证了该方法的有效性和优势,从而使其成为更加稳健的分割解决方案。
Nov, 2023
本文提出了一种称为 PerSAM 的、无需训练的个性化方法,该方法首先通过位置先验定位目标概念,然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割,有效地适应 SAM 的私人使用。此外,我们还提出了一种高效的单次微调变体,PerSAM-F,以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg,并在具有竞争性的性能的视频对象分割上测试了我们的方法。
May, 2023
介绍了 Segment Anything (SA) 项目 —— 一项新的任务、模型和图像分割数据集,该模型具有任务迁移和零样本学习的能力,并通过大规模数据集的训练,达到或超过以前完全监督结果的性能,旨在为计算机视觉的基础模型研究提供支持。
Apr, 2023
Segment Anything Model (SAM) 通过使用不同的输入提示(如文本、边界框、点或掩膜)生成掩膜,克服了特定数据集稀缺性的约束,评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力,结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象,但对于点提示而言,表现不稳定,特别是在分割细长物体和有机材料方面,SAM 的性能较差,这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。
Apr, 2024
提出了一种名为 HQ-SAM 的模型,该模型在保持 Segment Anything Model(SAM)原始 zero-shot 设计,高效性和推广性的同时,赋予 SAM 精确切分任何对象的能力,通过深度融合输入的不同特征并引入可学习的高质量输出 Token,有效提高了遮罩细节。在多种下游任务的 9 个不同分割数据集中展示 HQ-SAM 的有效性,其中有 7 个采用了零 - shot 转移协议进行评估。
Jun, 2023