SAM3D:三维医学图像中的分割模型
SAM3D 是一种新的半自动零射击 3D 图像分割方法,通过现有的任意分割模型,利用四步策略实现在 3D 图像中快速且准确的分割,可以帮助手术规划和教育、诊断成像以及科学研究。
May, 2024
该研究提出了 SAM-Med3D,对 3D 医学图像进行了全面研究和修正,通过训练在大规模数据集上的全面处理的 3D 体系结构,提供了全面的性能评估。与 SAM 相比,SAM-Med3D 在三维体积医学图像的分割能力和效率上都具有显著的增强。
Oct, 2023
快速交互式的基于 SAM 的三维医学图像分割方法 FastSAM3D 通过层次递进提取复杂 12 层 ViT-B 和轻量级 6 层 ViT-Tiny 变种编码器之间的知识传递,并使用稀疏闪光注意力代替传统的注意力操作符,大幅减少内存需求和提高并行化,从而在相同体积上与 2D SAMs 相比,实现了 527.38 倍的加速,在与 3D SAMs 相比,实现了 8.75 倍的加速,并且性能下降不明显,为常用 GPU 硬件实现低成本、真正交互式的基于 SAM 的三维医学图像分割开辟了道路。
Mar, 2024
引入了名为 MA-SAM 的适用于各种体积和视频医学数据的模态无关 SAM 适应框架,通过在图像编码器的转换器块中注入一系列的 3D 适配器,使预训练的 2D 主干从输入数据中提取第三维信息。在四个医学图像分割任务上,使用了 CT、MRI 和外科手术视频数据的 10 个公共数据集进行全面评估,结果显示,我们的方法在不使用任何提示的情况下,始终表现优于各种最先进的三维方法,在 CT 多器官分割、MRI 前列腺分割和外科手术场景分割的 Dice 指标上分别超过 nnU-Net 0.9%、2.6% 和 9.9%。在使用提示时,我们的模型也表现出强大的泛化能力,并在具有挑战性的肿瘤分割任务中表现出色。
Sep, 2023
SAM 模型在图像分割方面表现良好,但在医学图像方面还需要进一步验证。我们介绍了 SAMM,它是 SAM 的扩展,用于在 3D Slicer 上处理医学图像,并能够近乎实时地产生图像掩膜。
Apr, 2023
SAM3D 是一个创新的框架,通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调,能够在 3D 点云中预测掩模,首先预测具有 SAM 的 RGB 图像的分割掩模,然后将 2D 掩模投影到 3D 点中。最后,两个相邻帧的点云掩模以双向合并的方式进行合并,最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模,实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下,实现合理和细粒度的 3D 分割结果。
Jun, 2023
通过实验探究 SAM 模型对 12 个不同器官、图像模式和健康情况的医学图像数据集的精确度及其在医学图像分割方向上的应用前景,发现 SAM 模型在没有重新训练医学图像时准确度没有 U-Net 和其他深度学习模型高。
Apr, 2023
本研究评估了 SAM 2D 在医学成像中的零样本能力,结果显示其性能与目前的最新技术相当甚至更好,并提出一项实用的指南以获得在所有评估上都具有鲁棒性的结果。
Apr, 2023
MedSAM 是第一次尝试将 SAM 的成功延伸到医学图像中,通过构建一个包含超过 200,000 个掩膜的大规模医学图像数据集,并开发了一种简单的微调方法,以适应普通医学图像分割,在 21 个 3D 分割任务和 9 个 2D 分割任务的全面实验中,展示了超过默认 SAM 模型的平均 Dice 相似系数 (DSC) 分别达到了 22.5% 和 17.6 %。
Apr, 2023
SAM-Med2D 是目前最全面的研究,通过收集和整理公开和私有数据集的约 4.6M 图像和 19.7M 掩膜构建了一个包括不同模态和对象的大规模医学图像分割数据集,并通过包围盒、点和掩膜的综合提示将自然图像分割模型 SAM 应用于医学图像分割,进行了彻底的微调,获得了最佳性能和泛化能力。
Aug, 2023