评估基于多种点提示的交互式 3D 医学图像分割的测试时可变性
本研究介绍了一种名为 PE-MED 的新型框架,用于交互式医学图像分割,并通过比较实验证明了其优于其他最先进的医学图像分割算法的分割准确性和稳定性。
Aug, 2023
SegNext 是下一代交互式分割方法,具有低延迟、高质量和多样化的支持,通过引入密集设计,细化各种视觉提示的表示,提高了综合型模型的分割质量,在 HQSeg-44K 和 DAVIS 上表现出色。
Mar, 2024
医学图像语义分割是科学研究和临床护理的重要部分。本文介绍了 ScribblePrompt,一种医学图像交互分割框架,它可以通过涂鸦、点击和边界框来使人类标注者对未知结构进行分割,具有较高的效率和性能。
Dec, 2023
本文提出了一种基于文本或图像提示产生图像分割结果的模型,使用 CLIP 模型并引入 Transformer-based decoder 实现了对于任意提示的图像分割。经过对短语切割数据集进行扩展训练,该模型可以生成二进制的分割结果。我们发现该模型不仅可适应于三种标准的分割任务,而且可以适应于任何文本或图像提示的二进制分割任务。
Dec, 2021
我们提出了一种基于预训练 2D 图像模型的策略,使用单点提示来进行 3D 医学图像分割,并通过引入轻量级适配器来提取深度相关的(3D)空间上下文,以实现准确的边界。与其他分割方法相比,我们的方法在结肠和胰腺肿瘤分割方面具有卓越的性能。
Oct, 2023
本文研究了使用交互式医学图像分割范例中的 SAM 零 - shot 能力增强医学图像分割的潜力,并提出了一种叫做 TEPO 的自适应提示形式优化框架来解决人类专家支持下的 SAM 脆弱性问题,并通过强化学习来进一步提高 SAM 在 MIS 上的零 - shot 能力。在标准基准 BraTS2020 上的数值实验表明,学习到的 TEPO 代理可以进一步增强 SAM 在 MIS 上的零 - shot 能力。
Jun, 2023
该论文提出了一种基于视觉提示的测试时适应方法,通过冻结预训练模型并为每个测试图像训练特定的提示来解决医学图像中的分布偏移问题,并在两个医学图像分割基准任务上表现出优越性。
Nov, 2023
在医学影像领域,现有的可提示分割方法主要考虑文本或视觉提示,但在处理医学图像中的异常情况(如肿瘤)时往往存在一些局限性,因为肿瘤在形状、大小和外观等方面可能存在很大的变异。为了解决医学场景的复杂性和文本或视觉提示的局限性,我们提出了一种新颖的双提示模式,利用视觉和文本提示的互补优势来分割各种器官和肿瘤。具体而言,我们引入了一种创新的模型 CAT,它通过医学领域知识丰富的 3D 裁剪图像生成解剖提示,与富含医学领域知识的文本提示进行配合。该模型采用了基于查询的通用设计,其中提示查询有助于进行掩模预测的分割查询。为了在统一框架内协调两种类型的提示,我们实现了一个 ShareRefiner,它同时改进了分割和提示查询,同时解耦了两种类型的提示。在由 10 个公共 CT 数据集组成的联合培训集上进行训练,CAT 在多个分割任务中展现出卓越的性能。在一组特殊的内部数据集上进行的进一步验证显示了在多个癌症阶段分割肿瘤的显著能力。这种方法验证了协调多模式提示是解决医学领域复杂场景的一种有前途的途径。
Jun, 2024
本文针对现有 Prompt 模型在医学图像分割方面的表现较差的问题,将 Prompt-based segmentation 和 UNet 结合起来设计出一种新的医学图像分割模型 ——PromptUNet,并新添了 Supportive Prompts 和 En-face Prompts 等 Prompt 类型,实验结果表明 PromptUNet 在医学图像分割上的精度高于当前主流的 nnUNet、TransUNet、UNetr、MedSegDiff 和 MSA 等方法。
May, 2023
针对医学图像分割中多评分者注释(即模棱两可的医学图像分割)中的两个挑战,本文提出了一种基于多评分者提示的方法,通过引入一系列评分者感知的提示来处理多注释情况,并采用混合训练策略来整合专家共识和不一致。通过实验验证了我们的新方法在两个公共数据集上对模棱两可的医学图像分割的有效性,并减轻了模型重新训练的沉重负担。
Apr, 2024