Apr, 2024

SaLIP 与 SAM、CLIP 级联用于零样本医学图像分割的测试时间自适应

PDF
TL;DR该研究论文提出了一种将 Segment Anything Model（SAM）和 CLIP 集成为医学图像分割的统一框架 SaLIP 的方法，展示了在零样本分割中显著提高的 DICE 得分，在脑部（63.46%）、肺部（50.11%）和胎头（30.82%）等不同分割任务中表现出显著改进。
发现论文，激发创造
  • MedCLIP-SAM：将文本和图像融合以实现通用医学图像分割

    提出了一种新颖的框架 ——MedCLIP-SAM，结合了 CLIP 和 SAM 模型，使用文本提示在零样本和弱监督设置中生成临床扫描的分割，通过广泛测试三个不同的分割任务和医学图像模态，证明了该框架具有出色的准确性。

    Mar, 2024

  • ClipSAM：CLIP 与 SAM 的零样本异常分割合作

    CLIP 和 SAM 协作的 ClipSAM 框架可用于零样本异常分割任务，通过结合 CLIP 的语义理解和 SAM 的细分结果优化，获得最佳的分割性能。

    Jan, 2024

  • 使用 SLIP（SAM+CLIP）进行零样本上下文物体分割

    SLIP 是一种增强的架构，通过将文本提示与 Segment Anything Model（SAM）和 Contrastive Language-Image Pretraining（CLIP）相结合，实现了零样本目标分割。将 CLIP 集成到 SAM 中，SLIP 能够根据文本提示从上下文信息来识别和分割图像中的对象，扩展了 SAM 在多功能目标分割方面的能力。

    May, 2024

  • SAM-CLIP：融合视觉基础模型实现语义和空间理解

    我们提出了一种简单的方法，将视觉基础模型（如 CLIP 和 Segment Anything Model）高效地合并成一个统一的模型，以便于边缘设备应用，并能够在广泛的视觉任务中学习富含定位和语义特征的更丰富的视觉表示，同时在零样本语义分割方面取得了新的最先进结果。

    Oct, 2023

  • 开放词汇 SAM：交互式地分段和识别两万个类别

    该论文介绍了将 CLIP 和 Segment Anything Model（SAM）集成到统一框架中的深入研究，提出了基于 SAM 的 Open-Vocabulary SAM 模型，实现了同时交互分割和识别的功能，并通过知识转移模块 SAM2CLIP 和 CLIP2SAM 进行知识转移，显著优于简单组合 SAM 和 CLIP 的基准线。此外，通过图像分类数据训练，我们的方法可以分割和识别大约 22,000 个类别。

    Jan, 2024

  • 当 SAM 遇上医学图像：对多时相肝肿瘤分割中的 Segment Anything Model（SAM）进行研究

    SAM 在医学图像分析中应用的能力较弱，但在交互式医学图像分割领域是一个有力的注释工具。

    Apr, 2023

  • 无需调整的普遍监督语义分割

    本研究提出了一种无需调参的基于 CLIP 的语义分割框架，可以普遍适用于各种类型的监督。通过利用 CLIP 的零样本分类能力生成伪标签或进行开放词汇量的分割，我们解决了蒙版与 CLIP 文本嵌入之间的偏差问题，提出了一种判别偏差对齐的 CLIP 方法以获得更好的性能。我们构建了一个全局 - 局部一致性的分类器来对 SAM 蒙版进行分类，揭示了 DBA-CLIP 产生的高质量嵌入的内在结构，并展示了对噪声伪标签的鲁棒性。大量实验证实了我们方法的效率和有效性，并在各种数据集和监督类型上取得了最先进或具有竞争力的性能。

    May, 2024

  • SAM.MD：基于 Segment Anything 模型的零样本医学图像分割能力

    本文将利用基于 Segment Anything Model (SAM) 的零样本能力进行医学图像分割任务的初步评估，结果表明，SAM 可以很好地适应 CT 数据，因此有望成为半自动分割工具的推手，并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。

    Apr, 2023

  • 探索 SAM 模型在二维医学图像中的零样本能力：全面评估与实践指南

    本研究评估了 SAM 2D 在医学成像中的零样本能力，结果显示其性能与目前的最新技术相当甚至更好，并提出一项实用的指南以获得在所有评估上都具有鲁棒性的结果。

    Apr, 2023

  • SimSAM: 通过模拟交互的零样本医学图像分割

    采用模拟用户交互生成候选掩码并使用新的聚合方法输出最兼容的掩码，Simulated Interaction for Segment Anything Model (SimSAM) 在医学图像中展示出较零射击方法有着更高的分割准确性。

    Jun, 2024