增强医学图像分割的基础模型多提示微调技术
通过对 SAM 的嵌入空间进行自我提示,我们提出了一种在医学视觉应用中自我提示的新视角,通过一个简单而有效的线性像素分类器,保留了大模型的编码能力、其解码器的上下文信息,并利用其互动性,我们在多个数据集上取得了竞争性的结果(与使用少量图像微调掩模解码器相比,改进超过 15%)
Aug, 2023
本文针对 Segment Anything Model(SAM)在医学图像分割领域的 zero-shot 泛化能力进行了研究,并发现模型对于不同数据集和提示的表现会有差异,通过提供适当的提示,如边界框,SAM 的性能显著提高。
Apr, 2023
该论文综述了 Segment Anything Model(SAM)在医学图像分割中的应用,包括实证基准测试和方法论改进,并讨论了 SAM 在医学图像分割中的未来方向和文献综述。
May, 2023
通过综述快速模型(SAM)在医学图像分割领域的应用,本文总结了对 SAM 在医学图像分割任务中的有效性进行扩展的最近努力,并探讨了未来 SAM 在医学图像分割中的研究方向。尽管直接应用 SAM 到多模态和多目标医学数据集的图像分割上表现不够令人满意,但从这些努力中得到的众多见解对于塑造医学图像分析领域的基础模型的发展轨迹起到了宝贵的指导作用。
Jan, 2024
SAM 是一个通用视觉模型,虽然在医学图像分割上的分割效果不高,但其生成的掩膜、特征和稳定性分数可以用于构建和训练更好的医学图像分割模型,该论文展示了如何用 SAM 来增强常用的医学图像分割模型(例如 U-Net),两个数据集上的实验表明了我们提出方法的有效性。
Apr, 2023
本文介绍了一种针对医学影像的零样本分割模型 Segment Anything (SAM),通过细调轻量级任务特定的 ViT 预测头来提高其在医学影像数据集上的性能。
Jun, 2023
本文将利用基于 Segment Anything Model (SAM) 的零样本能力进行医学图像分割任务的初步评估,结果表明,SAM 可以很好地适应 CT 数据,因此有望成为半自动分割工具的推手,并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。
Apr, 2023
对于自动分割医学图像的研究,本文总结了目前的微调策略,并在包括所有常见放射学模态的 17 个数据集上进行评估,研究发现微调 Segment Anything Model (SAM) 相较于以前的分割方法具有稍微更好的性能,使用参数效率高的学习在编码器和解码器中进行微调的策略优于其他策略,网络架构对最终性能影响不大,通过自监督学习进一步训练 SAM 可以提高最终模型性能。
Apr, 2024
提出了 MaskSAM,这是一种适用于医学图像分割的新型无需提示的 SAM 适应框架,通过与 SAM 中的图像编码器结合设计了一个提示生成器,生成一组辅助分类器令牌、辅助二进制掩模和辅助边界框,以解决额外提示的要求,同时利用 3D 深度卷积适配器和 3D 深度 MLP 适配器使预训练的 2D SAM 模型提取 3D 信息并适应 3D 医学图像。我们的方法在 AMOS2022 上取得了最先进的性能,Dice 系数为 90.52%,相比 nnUNet 提高了 2.7%。在 ACDC 和 Synapse 数据集上,我们的方法分别超过了 nnUNet 1.7% 和 1.0%。
Mar, 2024