Apr, 2024

PRISM：一个带有视觉提示的可提示和稳健交互式分割模型

PDF
TL;DRPRISM 是一个可提示和稳健的交互式分割模型，旨在精确地对三维医学图像进行分割。PRISM 接受各种视觉输入，包括点、框和涂鸦作为稀疏提示，以及蒙版作为密集提示。通过迭代学习、置信学习、纠正学习和混合设计，PRISM 在结直肠、胰腺、肝脏和肾脏四个公开数据集上进行了全面验证，在精确的肿瘤识别中突出显示了由解剖变化和模糊边界引起的挑战。与最先进的方法相比，无论是否进行提示工程，PRISM 都显著提高了性能，达到接近人类水平的结果。
prisminteractive segmentation3d medical imagesrobustnesstumor segmentation
发现论文，激发创造
  • 承诺：利用图像模型驱动的 3D 医学图像分割

    我们提出了一种基于预训练 2D 图像模型的策略，使用单点提示来进行 3D 医学图像分割，并通过引入轻量级适配器来提取深度相关的（3D）空间上下文，以实现准确的边界。与其他分割方法相比，我们的方法在结肠和胰腺肿瘤分割方面具有卓越的性能。

    Oct, 2023

  • 个性化文本到图像生成的自动黑盒提示工程

    PRISM 是一种自动识别人类可解释且可迁移的提示的算法，它可以有效地生成所需概念，仅通过对 T2I 模型的黑盒访问。

    Mar, 2024

  • 快速灵活的互动分割技术：适用于任何医学图像的 ScribblePrompt

    医学图像语义分割是科学研究和临床护理的重要部分。本文介绍了 ScribblePrompt，一种医学图像交互分割框架，它可以通过涂鸦、点击和边界框来使人类标注者对未知结构进行分割，具有较高的效率和性能。

    Dec, 2023

  • 使用文本和图像提示进行图像分割

    本文提出了一种基于文本或图像提示产生图像分割结果的模型，使用 CLIP 模型并引入 Transformer-based decoder 实现了对于任意提示的图像分割。经过对短语切割数据集进行扩展训练，该模型可以生成二进制的分割结果。我们发现该模型不仅可适应于三种标准的分割任务，而且可以适应于任何文本或图像提示的二进制分割任务。

    Dec, 2021

  • 通过图像提示构建训练无关的开放世界分割基础模型

    通过使用图像概念传达的视觉概念，本研究首次探索了使用基础模型进行开放世界理解的方法，提出了一种名为图像提示分割（IPSeg）的新方法，该方法利用了图像提示技术，通过提取强大的特征，并通过新颖的特征交互模块将输入图像的表示与提示图像的表示进行匹配，以生成突出显示输入图像中目标对象的点提示，并进一步利用生成的点提示来指导 Segment Anything Model 对输入图像中的目标对象进行分割，从而消除了繁琐的训练过程，提供更高效和可扩展的解决方案。

    Oct, 2023

  • 评估基于多种点提示的交互式 3D 医学图像分割的测试时可变性

    通过对交互提示的工程化，我们评估了使用不同类型提示的医学图像交互分割模型在测试时间的可变性，以期找到一种简单高效的最佳提示选择方法。

    Nov, 2023

  • PromptUNet: 拟人化交互式医学图像分割

    本文针对现有 Prompt 模型在医学图像分割方面的表现较差的问题，将 Prompt-based segmentation 和 UNet 结合起来设计出一种新的医学图像分割模型 ——PromptUNet，并新添了 Supportive Prompts 和 En-face Prompts 等 Prompt 类型，实验结果表明 PromptUNet 在医学图像分割上的精度高于当前主流的 nnUNet、TransUNet、UNetr、MedSegDiff 和 MSA 等方法。

    May, 2023

  • 以低延迟、高质量和多样化提示的方式重新思考交互式图像分割

    SegNext 是下一代交互式分割方法，具有低延迟、高质量和多样化的支持，通过引入密集设计，细化各种视觉提示的表示，提高了综合型模型的分割质量，在 HQSeg-44K 和 DAVIS 上表现出色。

    Mar, 2024

  • ProMISe：使用 SAM 进行可提示的医学图像分割

    提出了 Auto-Prompting Module（APM）和 Incremental Pattern Shifting（IPS）两种方法，其中 APM 通过提供欧几里得自适应提示显著提高了 Segment Anything Model (SAM) 在医学图像分割中的性能，而 IPS 则使 SAM 在特定医学领域中达到了与 fine-tuning 相媲美的最先进或有竞争力的性能，将这两种方法结合起来构建了一个冻结 SAM 所有参数的端到端、非 fine-tuning 的医学图像分割框架 ProMISe。

    Mar, 2024

  • 基于视觉基础模型的遥感实例分割提示学习

    本文提出了一种基于 SAM 模型和 Prompt 学习的自动遥感图像实例分割方法（RSPrompter），并将其与其他常用的方法进行比较，结果证明该方法有效。

    Jun, 2023