增强医学图像分割的基础模型多提示微调技术
本文将利用基于Segment Anything Model (SAM)的零样本能力进行医学图像分割任务的初步评估,结果表明,SAM可以很好地适应CT数据,因此有望成为半自动分割工具的推手,并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。
Apr, 2023
SAM是一个通用视觉模型,虽然在医学图像分割上的分割效果不高,但其生成的掩膜、特征和稳定性分数可以用于构建和训练更好的医学图像分割模型,该论文展示了如何用SAM来增强常用的医学图像分割模型(例如U-Net),两个数据集上的实验表明了我们提出方法的有效性。
Apr, 2023
MedSAM 是第一次尝试将 SAM 的成功延伸到医学图像中,通过构建一个包含超过 200,000 个掩膜的大规模医学图像数据集,并开发了一种简单的微调方法,以适应普通医学图像分割,在 21 个 3D 分割任务和 9 个 2D 分割任务的全面实验中,展示了超过默认 SAM 模型的平均 Dice 相似系数 (DSC) 分别达到了 22.5% 和 17.6 %。
Apr, 2023
本文针对 Segment Anything Model(SAM)在医学图像分割领域的 zero-shot 泛化能力进行了研究,并发现模型对于不同数据集和提示的表现会有差异,通过提供适当的提示,如边界框,SAM的性能显著提高。
Apr, 2023
本文介绍了一种利用有限数量的样本来对Segment Anything Model (SAM) 进行微调的高效实用方法,以适用于医学领域,经实证研究表明SAM在医学领域即使只有少量标记数据也能有效对齐,通过在脑肿瘤分割(BraTS)和多器官CT分割(Synapse)实验中的综合结果,验证了这种方法的可行性和有效性,为SAM在医学领域的实际应用铺平了道路。
Aug, 2023
SAM-Med2D是目前最全面的研究,通过收集和整理公开和私有数据集的约4.6M图像和19.7M掩膜构建了一个包括不同模态和对象的大规模医学图像分割数据集,并通过包围盒、点和掩膜的综合提示将自然图像分割模型SAM应用于医学图像分割,进行了彻底的微调,获得了最佳性能和泛化能力。
Aug, 2023
最近许多生物医学影像分析领域的进展主要受到Segment Anything Model (SAM)的推动。这项先进的技术最初是为了通用计算机视觉而开发的,但在医学图像处理领域得到了迅速应用。我们的综述聚焦于2023年4月1日至9月30日这段重要的首次出版后六个月的时期,我们研究了SAM在解决长期临床挑战方面所需的改进和整合,特别关注了我们分析的33个开放数据集。尽管SAM在许多应用中达到了或超越了最先进的性能水平,但在一些方面仍存在不足,例如对颈动脉、肾上腺、视神经和下颌骨的分割。我们的调查深入研究了SAM的创新技术和其在各种医学影像场景中有效转化和应用的核心概念。
Jan, 2024
提出了MaskSAM,这是一种适用于医学图像分割的新型无需提示的SAM适应框架,通过与SAM中的图像编码器结合设计了一个提示生成器,生成一组辅助分类器令牌、辅助二进制掩模和辅助边界框,以解决额外提示的要求,同时利用3D深度卷积适配器和3D深度MLP适配器使预训练的2D SAM模型提取3D信息并适应3D医学图像。我们的方法在AMOS2022上取得了最先进的性能,Dice系数为90.52%,相比nnUNet提高了2.7%。在ACDC和Synapse数据集上,我们的方法分别超过了nnUNet 1.7%和1.0%。
Mar, 2024
对于自动分割医学图像的研究,本文总结了目前的微调策略,并在包括所有常见放射学模态的17个数据集上进行评估,研究发现微调 Segment Anything Model (SAM) 相较于以前的分割方法具有稍微更好的性能,使用参数效率高的学习在编码器和解码器中进行微调的策略优于其他策略,网络架构对最终性能影响不大,通过自监督学习进一步训练 SAM 可以提高最终模型性能。
Apr, 2024