Oct, 2023

医学影像中的全面多模态分割：结合 YOLOv8 和 SAM 与 HQ-SAM 模型

PDF
TL;DR利用 YOLOv8 模型和 SAM 模型，本文提出了一种综合方法，用于在多样性医学成像数据集中分割感兴趣区域 (ROI)，包括超声、CT 扫描和 X 射线图像。结果表明，SAM 模型在医学图像分割方面的准确性和整体性能上表现更好，而 HQ-SAM 模型的额外计算成本可能无法证明其优势。而 YOLOv8+SAM 模型显示出提高医学图像分割和其临床影响的潜力。
发现论文，激发创造
  • 医学图像分割

    MedSAM 是第一次尝试将 SAM 的成功延伸到医学图像中，通过构建一个包含超过 200,000 个掩膜的大规模医学图像数据集，并开发了一种简单的微调方法，以适应普通医学图像分割，在 21 个 3D 分割任务和 9 个 2D 分割任务的全面实验中，展示了超过默认 SAM 模型的平均 Dice 相似系数 (DSC) 分别达到了 22.5% 和 17.6 %。

    Apr, 2023

  • 医学图像分割中的 Segment-Anything 模型（SAM）的准确性

    通过实验探究 SAM 模型对 12 个不同器官、图像模式和健康情况的医学图像数据集的精确度及其在医学图像分割方向上的应用前景，发现 SAM 模型在没有重新训练医学图像时准确度没有 U-Net 和其他深度学习模型高。

    Apr, 2023

  • YOLO-MED：生物医学图像的多任务交互网络

    本研究提出了一种高效的端到端多任务网络 YOLO-Med，能够同时进行目标检测和语义分割，通过多尺度特征提取和任务特定解码器的结合，以及跨尺度任务交互模块的引入，实现了准确性和速度的平衡，并在 Kvasir-seg 数据集和私有生物医学图像数据集上获得了良好的结果。

    Mar, 2024

  • 探索 SAM 模型在二维医学图像中的零样本能力：全面评估与实践指南

    本研究评估了 SAM 2D 在医学成像中的零样本能力，结果显示其性能与目前的最新技术相当甚至更好，并提出一项实用的指南以获得在所有评估上都具有鲁棒性的结果。

    Apr, 2023

  • 利用 “分段任意模型” 评估 GRAD-CAM 在医学成像中的定位

    本文探讨如何利用 Segment Anything Model (SAM) 技术进一步提高医学图像的显著性图测试准确性，同时可以泛化到不需要人类注释的测试方法，并研究 SAM 在医学领域中的应用和挑战，这包括图像预处理，自然语言建议以及 SAM 在多个医学成像数据集上的准确性。

    Jun, 2023

  • 利用边界框标注实现低成本细胞图像分割的主动学习

    我们提出了一种使用边界框注释的主动学习框架，用于细胞分割，大大降低了数据注释成本。通过将 YOLOv8 检测器与 Segment Anything Model (SAM) 相结合，我们生成了一个箱子监督学习方法（称为 YOLO-SAM），有效降低了数据注释的复杂性。此外，它还集成到一个主动学习框架中，使用 MC DropBlock 方法以较少的框注释样本来训练分割模型。广泛的实验证明，与遮罩监督深度学习方法相比，我们的模型节省了超过 90％的数据注释时间。

    May, 2024

  • 基于基础模型的生物医学图像分割：综述

    最近许多生物医学影像分析领域的进展主要受到 Segment Anything Model (SAM) 的推动。这项先进的技术最初是为了通用计算机视觉而开发的，但在医学图像处理领域得到了迅速应用。我们的综述聚焦于 2023 年 4 月 1 日至 9 月 30 日这段重要的首次出版后六个月的时期，我们研究了 SAM 在解决长期临床挑战方面所需的改进和整合，特别关注了我们分析的 33 个开放数据集。尽管 SAM 在许多应用中达到了或超越了最先进的性能水平，但在一些方面仍存在不足，例如对颈动脉、肾上腺、视神经和下颌骨的分割。我们的调查深入研究了 SAM 的创新技术和其在各种医学影像场景中有效转化和应用的核心概念。

    Jan, 2024

  • MedYOLO：一种医学图像目标检测框架

    人工智能、医学影像、卷积神经网络、目标检测、MedYOLO

    Dec, 2023

  • 当 SAM 遇上医学图像：对多时相肝肿瘤分割中的 Segment Anything Model（SAM）进行研究

    SAM 在医学图像分析中应用的能力较弱，但在交互式医学图像分割领域是一个有力的注释工具。

    Apr, 2023

  • 医学影像分割模型：实验研究

    本文对 Segment Anything Model 在医学图像中的效果进行了评估，结果表明性能受任务和数据集影响较大，需要进一步研究来适应医学图像领域。

    Apr, 2023