SAMedOCT:针对视网膜OCT图像的Segment Anything模型(SAM)的调整
本研究使用Segment Anything Model在医疗图像上进行了定量和定性的零-shot分割实验,并发现虽然其在一般领域的图像中表现出色,但在医疗图像中存在一定的局限性,特别是在结构性目标上,而针对这些问题的数量有限的微调可以带来明显的改进。此研究表明了通用视觉基础模型在解决医疗成像中的特定任务方面的多功能性,并展现了这些模型通过微调最终可以应对获取大量不同的医学数据集和应对医学领域的复杂挑战的巨大潜力。
Apr, 2023
SAM是用于图像分割的第一个通用基础模型,能以自动或手动提示的方式进行零-shot图像分割,并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战,SAM在某些情况下表现出色,但需要结合手动标注才能取得更好的表现。
Apr, 2023
引入了名为 MA-SAM 的适用于各种体积和视频医学数据的模态无关 SAM 适应框架,通过在图像编码器的转换器块中注入一系列的 3D 适配器,使预训练的 2D 主干从输入数据中提取第三维信息。在四个医学图像分割任务上,使用了 CT、MRI 和外科手术视频数据的 10 个公共数据集进行全面评估,结果显示,我们的方法在不使用任何提示的情况下,始终表现优于各种最先进的三维方法,在 CT 多器官分割、MRI 前列腺分割和外科手术场景分割的 Dice 指标上分别超过 nnU-Net 0.9%、2.6% 和 9.9%。在使用提示时,我们的模型也表现出强大的泛化能力,并在具有挑战性的肿瘤分割任务中表现出色。
Sep, 2023
Segment Anything Model (SAM)是第一个用于图像分割的基础模型,本研究评估了SAM在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明,SAM的分割效果可以与专门模型相媲美,且使用提示工具可以提高其性能,示例数据集中瞳孔分割的IoU达到93.34%。SAM等基础模型有望通过快速且易用的图像分割方法,革新注视估计领域,减少对专门模型和繁琐手动标注的依赖。
Nov, 2023
最近许多生物医学影像分析领域的进展主要受到Segment Anything Model (SAM)的推动。这项先进的技术最初是为了通用计算机视觉而开发的,但在医学图像处理领域得到了迅速应用。我们的综述聚焦于2023年4月1日至9月30日这段重要的首次出版后六个月的时期,我们研究了SAM在解决长期临床挑战方面所需的改进和整合,特别关注了我们分析的33个开放数据集。尽管SAM在许多应用中达到了或超越了最先进的性能水平,但在一些方面仍存在不足,例如对颈动脉、肾上腺、视神经和下颌骨的分割。我们的调查深入研究了SAM的创新技术和其在各种医学影像场景中有效转化和应用的核心概念。
Jan, 2024
SAMME是一个扩展了新的SAM变种模型、采用更快的通信协议、适应了新的交互模式、并允许对模型的子组件进行微调的平台,通过这些功能可以拓展SAM等基础模型的潜力,并将结果应用于图像引导治疗、混合现实互动、机器导航和数据增强等应用。
Mar, 2024
该研究论文提出了一种将Segment Anything Model(SAM)和CLIP集成为医学图像分割的统一框架SaLIP的方法,展示了在零样本分割中显著提高的DICE得分,在脑部(63.46%)、肺部(50.11%)和胎头(30.82%)等不同分割任务中表现出显著改进。
Apr, 2024
在医学成像中,息肉分割是一个关键问题,引发了许多旨在提高分割掩模质量的方法。尽管当前最先进的技术取得了令人印象深刻的结果,但这些模型的规模和计算成本对实际的行业应用构成了挑战。最近,提出了Segment Anything Model (SAM)作为一种稳健的基础模型,显示出对于医学图像分割的适应性的前景。受到这一概念的启发,我们提出了SAM-EG,这是一个指导小型息肉分割模型来解决计算成本挑战的框架。此外,在这项研究中,我们引入了Edge Guiding模块,将边缘信息集成到图像特征中,以帮助分割模型解决当前分割模型在此任务中的边界问题。通过大量实验,我们的小型模型展示了它们的功效,通过达到与最先进的方法相竞争的结果,为息肉分割和医学成像领域的紧凑模型开发提供了一种有希望的方法。
Jun, 2024
本研究探讨了现有的分割基础模型在处理生物医学图像和视频方面的应用,尤其聚焦于SAM2模型的适用性和局限性。通过适应和微调,研究指出SAM2在不同数据集和任务中的表现存在差异,但在减少注释负担和实现零-shot分割方面展现出潜力。该工作强调了填补自然与医学图像领域差距的重要性,促进了临床应用的发展。
Aug, 2024
本研究解决了现有光学相干断层成像血管成像分割方法对3D体积变异捕捉的不足,提出了一种通过低秩适应技术微调的Segment Anything Model 2来进行指定对象的跟踪与分割。实验结果显示,SAM-OCTA2在分割凹点无血管区方面实现了领先性能,并有效跟踪扫描层序列中的局部血管。
Sep, 2024