从SAM到SAM 2:探索Meta的Segment Anything模型的改进
介绍了Segment Anything (SA)项目——一项新的任务、模型和图像分割数据集,该模型具有任务迁移和零样本学习的能力,并通过大规模数据集的训练,达到或超过以前完全监督结果的性能,旨在为计算机视觉的基础模型研究提供支持。
Apr, 2023
这篇研究论文讨论了Segment Anything Model在各个领域的表现及其未来发展前景,并提供了有助于未来研究活动的洞见,以完成通用分割任务。
Apr, 2023
SAM是用于图像分割的第一个通用基础模型,能以自动或手动提示的方式进行零-shot图像分割,并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战,SAM在某些情况下表现出色,但需要结合手动标注才能取得更好的表现。
Apr, 2023
该文通过第一次全面调查介绍了受到重大关注的Meta AI Research开发的Segment anything model(SAM)的性能表现和多种应用情况,并呼吁读者对该模型进行新的研究以促进其进一步发展。
May, 2023
Segment Anything Model (SAM)是第一个用于图像分割的基础模型,本研究评估了SAM在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明,SAM的分割效果可以与专门模型相媲美,且使用提示工具可以提高其性能,示例数据集中瞳孔分割的IoU达到93.34%。SAM等基础模型有望通过快速且易用的图像分割方法,革新注视估计领域,减少对专门模型和繁琐手动标注的依赖。
Nov, 2023
本研究针对图像和视频中的可提示视觉分割问题提出了Segment Anything Model 2(SAM 2),构建了一个用户交互的数据引擎,以收集迄今为止最大的video segmentation数据集。通过使用我们的模型,视频分割的准确性显著提高,且交互次数减少到以前方法的三分之一,展现出在图像分割方面比之前的模型更快和更精准的处理能力。
Aug, 2024
本研究解决了SAM2在无提示自动模式下对图像中不同物体的感知能力下降的问题。通过研究伪装物体检测这一挑战性任务,文章提出了一种新的评估方法,以期激发研究者对SAM模型家族的进一步探索。研究结果显示,尽管SAM2在视频和图像分割方面有显著提升,其在特定应用上的局限性仍值得关注。
Jul, 2024
本研究解决了在手术视频中缺乏标注数据和手术类型多样性导致的手术工具分割问题。我们采用了Segment Anything Model 2(SAM 2)进行零样本分割,其在不同手术类型视频中的性能展现了其有效性和适用性。研究结果表明,SAM 2在手术视频中表现出色,但在新工具出现时需额外提示以保持分割精度,同时手术视频的特性会影响其稳定性。
Aug, 2024
本研究探讨了现有的分割基础模型在处理生物医学图像和视频方面的应用,尤其聚焦于SAM2模型的适用性和局限性。通过适应和微调,研究指出SAM2在不同数据集和任务中的表现存在差异,但在减少注释负担和实现零-shot分割方面展现出潜力。该工作强调了填补自然与医学图像领域差距的重要性,促进了临床应用的发展。
Aug, 2024
本文针对Segment Anything Model 2(SAM2)在类别无关实例级分割任务中的表现进行了评估,填补了现有研究中的评测空白。通过采用不同的提示策略,研究揭示了SAM2在显著实例分割、伪装实例分割和阴影实例检测等场景中的性能差异以及对高分辨率结构分割的局限性。结果显示,SAM2的表现具有场景依赖性,提出利用SAM2适配器以提升大规模视觉模型在该领域的性能上限的建议。
Sep, 2024