自采样元SAM:用元学习增强少样本医学图像分割
本文将利用基于Segment Anything Model (SAM)的零样本能力进行医学图像分割任务的初步评估,结果表明,SAM可以很好地适应CT数据,因此有望成为半自动分割工具的推手,并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。
Apr, 2023
本文提出了一个基于元学习的弱监督分割方案,并在医学成像领域进行了实验和对不同范例的比较分析,研究结果表明度量学习元学习方法在小型领域变化的任务中具有更好的分割结果,而某些梯度和融合的元学习方法则对大型领域变化具有更好的推广性。
May, 2023
通过对SAM的嵌入空间进行自我提示,我们提出了一种在医学视觉应用中自我提示的新视角,通过一个简单而有效的线性像素分类器,保留了大模型的编码能力、其解码器的上下文信息,并利用其互动性,我们在多个数据集上取得了竞争性的结果(与使用少量图像微调掩模解码器相比,改进超过15%)
Aug, 2023
本文介绍了一种利用有限数量的样本来对Segment Anything Model (SAM) 进行微调的高效实用方法,以适用于医学领域,经实证研究表明SAM在医学领域即使只有少量标记数据也能有效对齐,通过在脑肿瘤分割(BraTS)和多器官CT分割(Synapse)实验中的综合结果,验证了这种方法的可行性和有效性,为SAM在医学领域的实际应用铺平了道路。
Aug, 2023
引入了名为 MA-SAM 的适用于各种体积和视频医学数据的模态无关 SAM 适应框架,通过在图像编码器的转换器块中注入一系列的 3D 适配器,使预训练的 2D 主干从输入数据中提取第三维信息。在四个医学图像分割任务上,使用了 CT、MRI 和外科手术视频数据的 10 个公共数据集进行全面评估,结果显示,我们的方法在不使用任何提示的情况下,始终表现优于各种最先进的三维方法,在 CT 多器官分割、MRI 前列腺分割和外科手术场景分割的 Dice 指标上分别超过 nnU-Net 0.9%、2.6% 和 9.9%。在使用提示时,我们的模型也表现出强大的泛化能力,并在具有挑战性的肿瘤分割任务中表现出色。
Sep, 2023
通过综述快速模型(SAM)在医学图像分割领域的应用,本文总结了对SAM在医学图像分割任务中的有效性进行扩展的最近努力,并探讨了未来SAM在医学图像分割中的研究方向。尽管直接应用SAM到多模态和多目标医学数据集的图像分割上表现不够令人满意,但从这些努力中得到的众多见解对于塑造医学图像分析领域的基础模型的发展轨迹起到了宝贵的指导作用。
Jan, 2024
该研究论文提出了一种将Segment Anything Model(SAM)和CLIP集成为医学图像分割的统一框架SaLIP的方法,展示了在零样本分割中显著提高的DICE得分,在脑部(63.46%)、肺部(50.11%)和胎头(30.82%)等不同分割任务中表现出显著改进。
Apr, 2024
我们提出了一种简单而高效的少样本微调策略,用于将Segment Anything(SAM)适应于医学图像中的解剖分割任务。我们的方法通过在SAM内对掩膜解码器进行改进,利用从有限标记图像集合(少样本收集)中导出的少样本嵌入作为查询解剖对象的提示,大大减少了需要耗时的在线用户交互。我们的方法通过只使用缓存机制训练掩膜解码器、同时保持图像编码器冻结,优先考虑了微调过程的效率。此方法不仅限于体积医学图像,而且可以普遍应用于任何2D/3D分割任务。通过对四个数据集进行全面验证,覆盖了两种模态下六个解剖分割任务。此外,我们对SAM内的不同提示选项与完全监督的nnU-Net进行了比较分析。结果表明,与仅使用点提示的SAM相比,我们的方法表现卓越(IoU提高约50%),并且与完全监督方法相媲美,同时将标记数据需求降低了至少一个数量级。
Jul, 2024
本研究解决了医学图像分割中全模型训练需要大量参数调优的问题。提出的S-SAM方法仅训练0.4%的模型参数,并利用标签名称提供精确掩膜,这使得模型更高效且减少了对专家提示的依赖。实验结果表明,S-SAM在五种不同的医学影像模态上表现优越,潜在地提高了医学图像分割的实用性。
Aug, 2024