基于视觉基础模型的病理原始分割与零样本蒙版生成
本研究评估了 SAM 模型在数字病理学中零次分割任务的表现,结果表明其可对大型连通对象进行显着分割,但对密集实例对象分割的性能不尽如人意。未来,来自下游病理分割任务的图像的少量微调可能有助于模型在密集对象分割方面取得更好的性能。
Apr, 2023
最近许多生物医学影像分析领域的进展主要受到 Segment Anything Model (SAM) 的推动。这项先进的技术最初是为了通用计算机视觉而开发的,但在医学图像处理领域得到了迅速应用。我们的综述聚焦于 2023 年 4 月 1 日至 9 月 30 日这段重要的首次出版后六个月的时期,我们研究了 SAM 在解决长期临床挑战方面所需的改进和整合,特别关注了我们分析的 33 个开放数据集。尽管 SAM 在许多应用中达到了或超越了最先进的性能水平,但在一些方面仍存在不足,例如对颈动脉、肾上腺、视神经和下颌骨的分割。我们的调查深入研究了 SAM 的创新技术和其在各种医学影像场景中有效转化和应用的核心概念。
Jan, 2024
通过引入可训练的类别提示和病理编码器,本研究将 Segment Anything Model(SAM)适应于数字病理学中的语义分割任务,进一步通过增加病理基础模型提高了 SAM-Path 在数字病理学中的语义分割能力,实验证明在两个公共病理学数据集上,可训练类别提示的微调方案在 Dice 得分上超过手动提示和后处理的 SAM27.52%,在 IOU 得分上超过 71.63%,而增加病理基础模型相对提升 Dice 得分 5.07%至 5.12%,IOU 得分 4.50%至 8.48%。
Jul, 2023
我们引入了一种新颖的微调框架,通过批处理基于真实掩蔽的边界框引入批量提示策略,以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。
Oct, 2023
本文将利用基于 Segment Anything Model (SAM) 的零样本能力进行医学图像分割任务的初步评估,结果表明,SAM 可以很好地适应 CT 数据,因此有望成为半自动分割工具的推手,并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。
Apr, 2023
本文针对 Segment Anything Model(SAM)在医学图像分割领域的 zero-shot 泛化能力进行了研究,并发现模型对于不同数据集和提示的表现会有差异,通过提供适当的提示,如边界框,SAM 的性能显著提高。
Apr, 2023
SAM 是一个通用视觉模型,虽然在医学图像分割上的分割效果不高,但其生成的掩膜、特征和稳定性分数可以用于构建和训练更好的医学图像分割模型,该论文展示了如何用 SAM 来增强常用的医学图像分割模型(例如 U-Net),两个数据集上的实验表明了我们提出方法的有效性。
Apr, 2023
提出了 MaskSAM,这是一种适用于医学图像分割的新型无需提示的 SAM 适应框架,通过与 SAM 中的图像编码器结合设计了一个提示生成器,生成一组辅助分类器令牌、辅助二进制掩模和辅助边界框,以解决额外提示的要求,同时利用 3D 深度卷积适配器和 3D 深度 MLP 适配器使预训练的 2D SAM 模型提取 3D 信息并适应 3D 医学图像。我们的方法在 AMOS2022 上取得了最先进的性能,Dice 系数为 90.52%,相比 nnUNet 提高了 2.7%。在 ACDC 和 Synapse 数据集上,我们的方法分别超过了 nnUNet 1.7% 和 1.0%。
Mar, 2024
通过实验探究 SAM 模型对 12 个不同器官、图像模式和健康情况的医学图像数据集的精确度及其在医学图像分割方向上的应用前景,发现 SAM 模型在没有重新训练医学图像时准确度没有 U-Net 和其他深度学习模型高。
Apr, 2023
通过在大规模多样化数据集上进行预训练,SAM 模型是计算机视觉领域针对目标分割任务的第一个可提示的基础模型。本文评估了 SAM 在零样本学习和微调下的核实例分割性能,将其与其他代表性方法在核实例分割中尤其是模型泛化能力的背景下进行比较,并提出使用核实例检测模型来为 SAM 提供核实例的边界框或中心点作为视觉提示,从组织学图像中生成核实例掩模。
Jan, 2024