视频分割在3D MRI中的新适应:有效的零样本膝关节分割方法
SAM-Med2D是目前最全面的研究,通过收集和整理公开和私有数据集的约4.6M图像和19.7M掩膜构建了一个包括不同模态和对象的大规模医学图像分割数据集,并通过包围盒、点和掩膜的综合提示将自然图像分割模型SAM应用于医学图像分割,进行了彻底的微调,获得了最佳性能和泛化能力。
Aug, 2023
引入了名为 MA-SAM 的适用于各种体积和视频医学数据的模态无关 SAM 适应框架,通过在图像编码器的转换器块中注入一系列的 3D 适配器,使预训练的 2D 主干从输入数据中提取第三维信息。在四个医学图像分割任务上,使用了 CT、MRI 和外科手术视频数据的 10 个公共数据集进行全面评估,结果显示,我们的方法在不使用任何提示的情况下,始终表现优于各种最先进的三维方法,在 CT 多器官分割、MRI 前列腺分割和外科手术场景分割的 Dice 指标上分别超过 nnU-Net 0.9%、2.6% 和 9.9%。在使用提示时,我们的模型也表现出强大的泛化能力,并在具有挑战性的肿瘤分割任务中表现出色。
Sep, 2023
在医学图像分割中,Segment Anything Model (SAM) 的应用受到其在自然图像分割中的良好表现的限制。为此,我们引入了Slide-SAM,将SAM扩展到3D医学图像分割中,并通过使用单个切片提示来减少专业人员的负担,实现更高分辨率的训练以实现最优学习结果,并通过充分评估和分析不同特征、解剖结构和器官的Slide-SAM在医学图像分割中的表现,证明其具有最先进的3D分割性能。
Nov, 2023
利用骨骼形态学分析研究膝关节骨性关节炎疼痛条件的性质,对 6 种语义分割算法进行评估,发现髂骨形态在疼痛加重时会发生显著变化,疼痛缓解时骨形状改变不明显。基于 few-shot learning 的算法 UniverSeg 在髂骨和胫骨的分割中表现出优异的结果,而零样本学习的算法 CP-SAM 对膝关节骨性关节炎疼痛条件的分类准确率达到了 66%。鉴于这些发现,few-shot learning 在语义分割中的有效性以及零样本学习在膝关节骨性关节炎诊断模型的改进潜力得到了强调。
Mar, 2024
本研究针对SAM 2在医学图像处理中的应用进行评估,填补了现有技术在3D医学图像分割方面的空白。通过对18个医学影像数据集的测试,发现SAM 2在单帧2D分割中性能与前代相似,但在多帧3D分割中表现不一,显示了对选定切片的依赖性。这项工作为医学成像领域的3D分割提供了重要的洞见。
Aug, 2024
本研究解决了交互式医学图像分割(IMIS)方法在3D医学数据稀缺情况下的局限性。通过利用下一代Meta SAM模型SAM 2的零-shot能力,将3D图像的序列2D切片视为视频帧,从而实现全自动化的注释传播。实验结果表明,尽管与监督学习方法仍有差距,SAM 2在特定情境下可以显著减轻医学专家的注释负担,并具有进一步优化的潜力。
Aug, 2024
本研究旨在评估最新开发的段落分割模型2在2D和3D医学图像中的应用能力,填补了医学成像领域对3D图像分割方法的需求。通过分析18个医学影像数据集,研究发现SAM 2在单帧2D分割中表现相似于前一模型,而在多帧3D分割中性能受选择标注切片和传播方向等因素影响。这一研究为医学图像处理提供了新的思路和方法。
Aug, 2024
本研究解决了当前分割基础模型在医学数据中应用的不明确性,全面基准测试了Segment Anything Model 2(SAM2)在11种医学图像和视频中的性能。通过转移学习管道,显示出SAM2能够快速适应医学领域,并实现了其作为3D切片插件和Gradio API的高效部署,为医学图像和视频分割提供了新的解决方案。
Aug, 2024
本研究探讨了现有的分割基础模型在处理生物医学图像和视频方面的应用,尤其聚焦于SAM2模型的适用性和局限性。通过适应和微调,研究指出SAM2在不同数据集和任务中的表现存在差异,但在减少注释负担和实现零-shot分割方面展现出潜力。该工作强调了填补自然与医学图像领域差距的重要性,促进了临床应用的发展。
Aug, 2024