May, 2023

PromptUNet: 拟人化交互式医学图像分割

PDF
TL;DR本文针对现有 Prompt 模型在医学图像分割方面的表现较差的问题，将 Prompt-based segmentation 和 UNet 结合起来设计出一种新的医学图像分割模型 ——PromptUNet，并新添了 Supportive Prompts 和 En-face Prompts 等 Prompt 类型，实验结果表明 PromptUNet 在医学图像分割上的精度高于当前主流的 nnUNet、TransUNet、UNetr、MedSegDiff 和 MSA 等方法。
prompt-based segmentationsegment anything modelmedical image segmentationpromptunetsupportive prompts
发现论文，激发创造
  • 自动提示医学图像分割的不确定性修正分割模型

    提出了 UR-SAM，一个用于增强自动提示医学图像分割的稳健性和可靠性的不确定性矫正 SAM 框架，通过引入提示增强模块和基于不确定性的矫正模块，提升了 SAM 的分割性能，无需手动提示，对医学图像分割具有高效和广泛的能力。

    Nov, 2023

  • 增强医学图像分割的基础模型多提示微调技术

    我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

    Oct, 2023

  • 自训练的大型视觉模型用于少样本医学图像分割

    通过对 SAM 的嵌入空间进行自我提示，我们提出了一种在医学视觉应用中自我提示的新视角，通过一个简单而有效的线性像素分类器，保留了大模型的编码能力、其解码器的上下文信息，并利用其互动性，我们在多个数据集上取得了竞争性的结果（与使用少量图像微调掩模解码器相比，改进超过 15%）

    Aug, 2023

  • 医学图像上的 SAM：三种提示模式的全面研究

    本文针对 Segment Anything Model（SAM）在医学图像分割领域的 zero-shot 泛化能力进行了研究，并发现模型对于不同数据集和提示的表现会有差异，通过提供适当的提示，如边界框，SAM 的性能显著提高。

    Apr, 2023

  • 面向任务驱动的基于模型的提示演进

    利用下游分割任务优化人工提供的提示，提出了针对 Segment Anything Model（SAM）等基础模型的即插即用的 Prompt 优化技术（SAMPOT），在胸部 X 射线图像的肺分割中取得了显著的改进，并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。

    Oct, 2023

  • 如何利用 Segment Anything Model (SAM) 提升医学图像分割？

    该论文综述了 Segment Anything Model（SAM）在医学图像分割中的应用，包括实证基准测试和方法论改进，并讨论了 SAM 在医学图像分割中的未来方向和文献综述。

    May, 2023

  • 一种通用的基于文本提示的医学图像分割模型

    本研究中，我们建立了一个可以通过文本提示来在医疗场景中对任意物体进行分割的模型，称之为 SAT。我们的主要贡献有三个方面：（一）在数据构造方面，我们整合了多个知识源来构建一个多模态的医学知识树，并通过收集超过 11,000 个来自 31 个分割数据集的三维医学图像扫描的大规模分割数据集进行训练，同时对图像扫描和标签空间进行了精确标准化；（二）在模型训练方面，我们提出了一种通用的分割模型，可以通过输入文本形式的医学术语进行提示。我们提出了一种知识增强的表示学习框架以及一系列有效训练策略，结合了大量数据集进行训练；（三）在模型评估方面，我们用只有 107M 参数的 SAT-Nano 模型对 31 个不同的分割数据集进行了分割，使用文本提示，得到了 362 个类别。我们从身体区域的平均值、类别的平均值和数据集的平均值三个方面对模型进行了全面评估，结果表明与 36 个专家 nnUNets 的性能相当，即我们对每个数据集 / 子集训练 nnUNet 模型，为 31 个数据集训练了 36 个大约有 1,000M 参数的 nnUNets 模型。我们将在本报告中公布所有用到的代码和模型，即 SAT-Nano，并且我们将在不久的将来提供 SAT-Ultra，它将在更多的多样化数据集上使用更大尺寸的模型进行训练。

    Dec, 2023

  • UN-SAM：通用无提示分割广义细胞核图像

    提出了一种全自动解决方案，名为通用无提示的 SAM 框架 (UN-SAM)，用于细胞核分割，具有优异的泛化能力，通过自动生成高质量掩膜提示来引导分割任务，并利用可学习的域查询来进行不同核域中的分割。

    Feb, 2024

  • MaskSAM：面向医学图像分割的自动提示 SAM 与掩码分类

    提出了 MaskSAM，这是一种适用于医学图像分割的新型无需提示的 SAM 适应框架，通过与 SAM 中的图像编码器结合设计了一个提示生成器，生成一组辅助分类器令牌、辅助二进制掩模和辅助边界框，以解决额外提示的要求，同时利用 3D 深度卷积适配器和 3D 深度 MLP 适配器使预训练的 2D SAM 模型提取 3D 信息并适应 3D 医学图像。我们的方法在 AMOS2022 上取得了最先进的性能，Dice 系数为 90.52%，相比 nnUNet 提高了 2.7%。在 ACDC 和 Synapse 数据集上，我们的方法分别超过了 nnUNet 1.7% 和 1.0%。

    Mar, 2024

  • 医学图像分割的分割全模型：现阶段的应用与未来发展方向

    通过综述快速模型（SAM）在医学图像分割领域的应用，本文总结了对 SAM 在医学图像分割任务中的有效性进行扩展的最近努力，并探讨了未来 SAM 在医学图像分割中的研究方向。尽管直接应用 SAM 到多模态和多目标医学数据集的图像分割上表现不够令人满意，但从这些努力中得到的众多见解对于塑造医学图像分析领域的基础模型的发展轨迹起到了宝贵的指导作用。

    Jan, 2024