SAM3D:零射击半自动三维医学图像分割
借鉴了 Segment Anything Model (SAM) 的方法,我们提出了 SAM3D,该方法针对 3D 体积医学图像,利用 SAM 编码器的预训练特征来捕捉输入图像的意义表示,并通过整体处理 3D 图像而避免了大量参数的训练,实验结果表明,在 3D 医学分割任务中,我们的网络相对于其他最先进的方法具有竞争力且参数效率明显。
Sep, 2023
快速交互式的基于 SAM 的三维医学图像分割方法 FastSAM3D 通过层次递进提取复杂 12 层 ViT-B 和轻量级 6 层 ViT-Tiny 变种编码器之间的知识传递,并使用稀疏闪光注意力代替传统的注意力操作符,大幅减少内存需求和提高并行化,从而在相同体积上与 2D SAMs 相比,实现了 527.38 倍的加速,在与 3D SAMs 相比,实现了 8.75 倍的加速,并且性能下降不明显,为常用 GPU 硬件实现低成本、真正交互式的基于 SAM 的三维医学图像分割开辟了道路。
Mar, 2024
该研究提出了 SAM-Med3D,对 3D 医学图像进行了全面研究和修正,通过训练在大规模数据集上的全面处理的 3D 体系结构,提供了全面的性能评估。与 SAM 相比,SAM-Med3D 在三维体积医学图像的分割能力和效率上都具有显著的增强。
Oct, 2023
本研究评估了 SAM 2D 在医学成像中的零样本能力,结果显示其性能与目前的最新技术相当甚至更好,并提出一项实用的指南以获得在所有评估上都具有鲁棒性的结果。
Apr, 2023
SAM3D 是一个创新的框架,通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调,能够在 3D 点云中预测掩模,首先预测具有 SAM 的 RGB 图像的分割掩模,然后将 2D 掩模投影到 3D 点中。最后,两个相邻帧的点云掩模以双向合并的方式进行合并,最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模,实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下,实现合理和细粒度的 3D 分割结果。
Jun, 2023
SAM 模型在图像分割方面表现良好,但在医学图像方面还需要进一步验证。我们介绍了 SAMM,它是 SAM 的扩展,用于在 3D Slicer 上处理医学图像,并能够近乎实时地产生图像掩膜。
Apr, 2023
本研究旨在将基础模型的能力发挥在 3D 视觉任务中,在通过 SAM 提出的 BEV 流程管道构建的基础上,通过提高零样例能力实现 3D 物体检测,将其应用于 Waymo 开放数据集,展示其可行性。
Jun, 2023
介绍了一种用于 3D 多器官 CT 基于分割的新方法,即 AutoSAM Adapter,通过自动提示学习范式来促进 Segment Anything Model(SAM)模型能力向 3D 医学图像分割的转变,从而消除了手动生成提示的需求,并成功将获得的知识传递给其他专门为 3D 医学图像分析量身定制的轻量级模型,实现了在医学图像分割任务上的最先进性能。
Aug, 2023
本研究提出了一种综合且可扩展的 3D SAM 模型,名为 CT-SAM3D,用于全身 CT 分割,通过使用一个(几乎)完全标记的 CT 数据集,建立了一个 3D 可提示的分割模型。我们的模型可以有效地响应更高维度的空间提示,通过减少大规模器官的交互提示工作量,以较少的点击提示显著提高了所有以前基于 SAM 的模型的定量性能。
Mar, 2024
引入了名为 MA-SAM 的适用于各种体积和视频医学数据的模态无关 SAM 适应框架,通过在图像编码器的转换器块中注入一系列的 3D 适配器,使预训练的 2D 主干从输入数据中提取第三维信息。在四个医学图像分割任务上,使用了 CT、MRI 和外科手术视频数据的 10 个公共数据集进行全面评估,结果显示,我们的方法在不使用任何提示的情况下,始终表现优于各种最先进的三维方法,在 CT 多器官分割、MRI 前列腺分割和外科手术场景分割的 Dice 指标上分别超过 nnU-Net 0.9%、2.6% 和 9.9%。在使用提示时,我们的模型也表现出强大的泛化能力,并在具有挑战性的肿瘤分割任务中表现出色。
Sep, 2023