承诺:利用图像模型驱动的 3D 医学图像分割
提出了 Auto-Prompting Module(APM)和 Incremental Pattern Shifting(IPS)两种方法,其中 APM 通过提供欧几里得自适应提示显著提高了 Segment Anything Model (SAM) 在医学图像分割中的性能,而 IPS 则使 SAM 在特定医学领域中达到了与 fine-tuning 相媲美的最先进或有竞争力的性能,将这两种方法结合起来构建了一个冻结 SAM 所有参数的端到端、非 fine-tuning 的医学图像分割框架 ProMISe。
Mar, 2024
本文针对现有 Prompt 模型在医学图像分割方面的表现较差的问题,将 Prompt-based segmentation 和 UNet 结合起来设计出一种新的医学图像分割模型 ——PromptUNet,并新添了 Supportive Prompts 和 En-face Prompts 等 Prompt 类型,实验结果表明 PromptUNet 在医学图像分割上的精度高于当前主流的 nnUNet、TransUNet、UNetr、MedSegDiff 和 MSA 等方法。
May, 2023
通过对 SAM 的嵌入空间进行自我提示,我们提出了一种在医学视觉应用中自我提示的新视角,通过一个简单而有效的线性像素分类器,保留了大模型的编码能力、其解码器的上下文信息,并利用其互动性,我们在多个数据集上取得了竞争性的结果(与使用少量图像微调掩模解码器相比,改进超过 15%)
Aug, 2023
我们引入了一种新颖的微调框架,通过批处理基于真实掩蔽的边界框引入批量提示策略,以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。
Oct, 2023
PRISM 是一个可提示和稳健的交互式分割模型,旨在精确地对三维医学图像进行分割。PRISM 接受各种视觉输入,包括点、框和涂鸦作为稀疏提示,以及蒙版作为密集提示。通过迭代学习、置信学习、纠正学习和混合设计,PRISM 在结直肠、胰腺、肝脏和肾脏四个公开数据集上进行了全面验证,在精确的肿瘤识别中突出显示了由解剖变化和模糊边界引起的挑战。与最先进的方法相比,无论是否进行提示工程,PRISM 都显著提高了性能,达到接近人类水平的结果。
Apr, 2024
介绍了一种用于 3D 多器官 CT 基于分割的新方法,即 AutoSAM Adapter,通过自动提示学习范式来促进 Segment Anything Model(SAM)模型能力向 3D 医学图像分割的转变,从而消除了手动生成提示的需求,并成功将获得的知识传递给其他专门为 3D 医学图像分析量身定制的轻量级模型,实现了在医学图像分割任务上的最先进性能。
Aug, 2023
通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model(SAM),我们提出了一种 3D 可提示分割模型(Point-SAM),利用部分级和对象级注释,从 SAM 中生成伪标签,将 2D 知识提取到我们的 3D 模型中,并在室内和室外基准测试中优于最先进的模型,展示了多种应用,如 3D 标注。
Jun, 2024
本文研究了使用交互式医学图像分割范例中的 SAM 零 - shot 能力增强医学图像分割的潜力,并提出了一种叫做 TEPO 的自适应提示形式优化框架来解决人类专家支持下的 SAM 脆弱性问题,并通过强化学习来进一步提高 SAM 在 MIS 上的零 - shot 能力。在标准基准 BraTS2020 上的数值实验表明,学习到的 TEPO 代理可以进一步增强 SAM 在 MIS 上的零 - shot 能力。
Jun, 2023
本研究提出了一种综合且可扩展的 3D SAM 模型,名为 CT-SAM3D,用于全身 CT 分割,通过使用一个(几乎)完全标记的 CT 数据集,建立了一个 3D 可提示的分割模型。我们的模型可以有效地响应更高维度的空间提示,通过减少大规模器官的交互提示工作量,以较少的点击提示显著提高了所有以前基于 SAM 的模型的定量性能。
Mar, 2024
利用下游分割任务优化人工提供的提示,提出了针对 Segment Anything Model(SAM)等基础模型的即插即用的 Prompt 优化技术(SAMPOT),在胸部 X 射线图像的肺分割中取得了显著的改进,并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。
Oct, 2023