释放SAM2在生物医学图像和视频中的潜力:一项调查
SAM是用于图像分割的第一个通用基础模型,能以自动或手动提示的方式进行零-shot图像分割,并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战,SAM在某些情况下表现出色,但需要结合手动标注才能取得更好的表现。
Apr, 2023
该论文综述了Segment Anything Model(SAM)在医学图像分割中的应用,包括实证基准测试和方法论改进,并讨论了SAM在医学图像分割中的未来方向和文献综述。
May, 2023
SAM-Med2D是目前最全面的研究,通过收集和整理公开和私有数据集的约4.6M图像和19.7M掩膜构建了一个包括不同模态和对象的大规模医学图像分割数据集,并通过包围盒、点和掩膜的综合提示将自然图像分割模型SAM应用于医学图像分割,进行了彻底的微调,获得了最佳性能和泛化能力。
Aug, 2023
通过综述快速模型(SAM)在医学图像分割领域的应用,本文总结了对SAM在医学图像分割任务中的有效性进行扩展的最近努力,并探讨了未来SAM在医学图像分割中的研究方向。尽管直接应用SAM到多模态和多目标医学数据集的图像分割上表现不够令人满意,但从这些努力中得到的众多见解对于塑造医学图像分析领域的基础模型的发展轨迹起到了宝贵的指导作用。
Jan, 2024
最近许多生物医学影像分析领域的进展主要受到Segment Anything Model (SAM)的推动。这项先进的技术最初是为了通用计算机视觉而开发的,但在医学图像处理领域得到了迅速应用。我们的综述聚焦于2023年4月1日至9月30日这段重要的首次出版后六个月的时期,我们研究了SAM在解决长期临床挑战方面所需的改进和整合,特别关注了我们分析的33个开放数据集。尽管SAM在许多应用中达到了或超越了最先进的性能水平,但在一些方面仍存在不足,例如对颈动脉、肾上腺、视神经和下颌骨的分割。我们的调查深入研究了SAM的创新技术和其在各种医学影像场景中有效转化和应用的核心概念。
Jan, 2024
本研究针对SAM 2在医学图像处理中的应用进行评估,填补了现有技术在3D医学图像分割方面的空白。通过对18个医学影像数据集的测试,发现SAM 2在单帧2D分割中性能与前代相似,但在多帧3D分割中表现不一,显示了对选定切片的依赖性。这项工作为医学成像领域的3D分割提供了重要的洞见。
Aug, 2024
本研究解决了交互式医学图像分割(IMIS)方法在3D医学数据稀缺情况下的局限性。通过利用下一代Meta SAM模型SAM 2的零-shot能力,将3D图像的序列2D切片视为视频帧,从而实现全自动化的注释传播。实验结果表明,尽管与监督学习方法仍有差距,SAM 2在特定情境下可以显著减轻医学专家的注释负担,并具有进一步优化的潜力。
Aug, 2024
本研究解决了当前分割基础模型在医学数据中应用的不明确性,全面基准测试了Segment Anything Model 2(SAM2)在11种医学图像和视频中的性能。通过转移学习管道,显示出SAM2能够快速适应医学领域,并实现了其作为3D切片插件和Gradio API的高效部署,为医学图像和视频分割提供了新的解决方案。
Aug, 2024
本研究解决了生物医学图像和视频分割的挑战,特别是在医疗背景下的应用。我们提出了BioSAM 2,这是一种基于SAM 2的优化模型,通过实验结果显示其在性能上超越了现有最先进模型,并且与专业模型相匹配甚至更优,展示了其在医疗领域的巨大潜力。
Aug, 2024