Segment Any Cell: 基于 SAM 的自动提示微调框架用于细胞核分割
本文提出了一个称为 all-in-SAM 的流程,通过将 SAM 用于整个 AI 开发工作流(从注释生成到模型微调),而无需在推理阶段使用手动提示,取代了在推理阶段使用提示的方法,可以在不需要手动提示的情况下更好地完成生物医学图像分割任务,并在公共数据集 Monuseg 上的一个核分割任务中超越了最先进的方法,并且使用弱注释进行 SAM 微调的实验结果表明其性能相对于使用强像素注释数据的方法而言具有竞争力。
Jul, 2023
提出了一种全自动解决方案,名为通用无提示的 SAM 框架 (UN-SAM),用于细胞核分割,具有优异的泛化能力,通过自动生成高质量掩膜提示来引导分割任务,并利用可学习的域查询来进行不同核域中的分割。
Feb, 2024
本研究提出了一种新颖的基于提示的框架,包括一个点提示器和一个用于自动核实例分割的段装置模型。通过学习为每个细胞核生成唯一的点提示,并将段装置模型微调为输出相应的细胞核掩模,我们的方法在三个具有挑战性的基准测试上取得了最新的性能。
Nov, 2023
利用弱监督方法,在细胞分割的任务中使用 Segment Anything 模型(SAM),通过对象检测器的输出作为测试时的提示信息(D-SAM),以及 SAM 作为伪掩膜生成器在训练数据上训练一个独立的分割模型(SAM-S),并通过整数规划的方法协调两组分割掩膜,从而实现更高的性能。在公开的细胞分割数据集上进行了实验,结果显示所有基于 SAM 的解决方案明显优于现有的弱监督图像分割模型,增益在 9-15 个百分点之间。
Nov, 2023
我们引入了一种新颖的微调框架,通过批处理基于真实掩蔽的边界框引入批量提示策略,以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。
Oct, 2023
提出了 UR-SAM,一个用于增强自动提示医学图像分割的稳健性和可靠性的不确定性矫正 SAM 框架,通过引入提示增强模块和基于不确定性的矫正模块,提升了 SAM 的分割性能,无需手动提示,对医学图像分割具有高效和广泛的能力。
Nov, 2023
通过在大规模多样化数据集上进行预训练,SAM 模型是计算机视觉领域针对目标分割任务的第一个可提示的基础模型。本文评估了 SAM 在零样本学习和微调下的核实例分割性能,将其与其他代表性方法在核实例分割中尤其是模型泛化能力的背景下进行比较,并提出使用核实例检测模型来为 SAM 提供核实例的边界框或中心点作为视觉提示,从组织学图像中生成核实例掩模。
Jan, 2024
利用下游分割任务优化人工提供的提示,提出了针对 Segment Anything Model(SAM)等基础模型的即插即用的 Prompt 优化技术(SAMPOT),在胸部 X 射线图像的肺分割中取得了显著的改进,并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。
Oct, 2023
通过对 SAM 的嵌入空间进行自我提示,我们提出了一种在医学视觉应用中自我提示的新视角,通过一个简单而有效的线性像素分类器,保留了大模型的编码能力、其解码器的上下文信息,并利用其互动性,我们在多个数据集上取得了竞争性的结果(与使用少量图像微调掩模解码器相比,改进超过 15%)
Aug, 2023