如何高效地将大型分割模型(SAM)适应于医学图像
通过对 SAM 的嵌入空间进行自我提示,我们提出了一种在医学视觉应用中自我提示的新视角,通过一个简单而有效的线性像素分类器,保留了大模型的编码能力、其解码器的上下文信息,并利用其互动性,我们在多个数据集上取得了竞争性的结果(与使用少量图像微调掩模解码器相比,改进超过 15%)
Aug, 2023
我们引入了一种新颖的微调框架,通过批处理基于真实掩蔽的边界框引入批量提示策略,以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。
Oct, 2023
提出了 MaskSAM,这是一种适用于医学图像分割的新型无需提示的 SAM 适应框架,通过与 SAM 中的图像编码器结合设计了一个提示生成器,生成一组辅助分类器令牌、辅助二进制掩模和辅助边界框,以解决额外提示的要求,同时利用 3D 深度卷积适配器和 3D 深度 MLP 适配器使预训练的 2D SAM 模型提取 3D 信息并适应 3D 医学图像。我们的方法在 AMOS2022 上取得了最先进的性能,Dice 系数为 90.52%,相比 nnUNet 提高了 2.7%。在 ACDC 和 Synapse 数据集上,我们的方法分别超过了 nnUNet 1.7% 和 1.0%。
Mar, 2024
本文针对 Segment Anything Model(SAM)在医学图像分割领域的 zero-shot 泛化能力进行了研究,并发现模型对于不同数据集和提示的表现会有差异,通过提供适当的提示,如边界框,SAM 的性能显著提高。
Apr, 2023
本文提出的方法通过使用编码器代替条件图像,在未经过进一步的微调的情况下,使用与多种医学影像和视频基准测试上的最新结果来改进 recently introduced Segment Anything Model (SAM) 的能力,并使用曲测解调制网络将其解码为遮罩。
Jun, 2023
SAM 模型为基础,通过 SAM^{assist} 和 SAM^{auto} 两个子模块,提出了 SAM^{Med} 框架,无需大量标记即可实现精准的医学图像分割。
Jul, 2023
手术场景分析中使用人工智能的分割是一个基本问题。然而,这个领域内固有的数据稀缺性使得为该任务调整传统分割技术变得具有挑战性。因此,我们提出了一种名为 AdaptiveSAM 的改进模型,可以快速有效地适应新的数据集,并可以使用文本提示进行分割,其在各种医学图像数据集上优于当前最先进的方法。
Aug, 2023
该论文综述了 Segment Anything Model(SAM)在医学图像分割中的应用,包括实证基准测试和方法论改进,并讨论了 SAM 在医学图像分割中的未来方向和文献综述。
May, 2023