MatSAM: 通过视觉大型模型实现高效材料微结构提取
给定零样本分割技术基础模型,我们提出了 “语义增强” 的概念,通过指导分割过程并调整结果以适应特定领域的期望,实现了最佳分割技术的快速适应。我们将语义增强应用于 Segment Anything Model(SAM)以获取透射电子显微镜的微观结构分割,通过提取各种中间掩模的几何和纹理特征进行掩模去除和掩模合并操作,结果在三个难度类别的图像上相对于原始的 SAM(ViT-L)分别获得了平均 IoU 增加 21.35%、12.6%、5.27% 和平均假阳性掩模降低 9.91%、18.42%、4.06%。
Apr, 2024
提出了一种基于 Segment Anything Model (SAM) 的新框架 Geographical SAM (GeoSAM),通过使用来自零样本学习的稠密视觉提示和预训练的 CNN 分割模型的稀疏视觉提示,实现了对地理图像中的移动设施进行精细调优的策略。所提出的 GeoSAM 在地理图像分割中优于现有方法,特别是在道路基础设施、行人基础设施和平均方面分别提高了 20%、14.29% 和 17.65%,在实现对地理图像中包括道路和行人基础设施的移动设施的分割上取得了重大突破。
Nov, 2023
SAM 模型为基础,通过 SAM^{assist} 和 SAM^{auto} 两个子模块,提出了 SAM^{Med} 框架,无需大量标记即可实现精准的医学图像分割。
Jul, 2023
本文提出了一个称为 all-in-SAM 的流程,通过将 SAM 用于整个 AI 开发工作流(从注释生成到模型微调),而无需在推理阶段使用手动提示,取代了在推理阶段使用提示的方法,可以在不需要手动提示的情况下更好地完成生物医学图像分割任务,并在公共数据集 Monuseg 上的一个核分割任务中超越了最先进的方法,并且使用弱注释进行 SAM 微调的实验结果表明其性能相对于使用强像素注释数据的方法而言具有竞争力。
Jul, 2023
使用无监督 SAM 模型进行图像分割,通过将图像分割为实例 / 语义级别的片段并形成层次结构的无监督多粒度蒙版,提供了与有监督方法相媲美甚至更好的分割结果,并为有监督模型提供了改进的自我监督标签。
Jun, 2024
最近许多生物医学影像分析领域的进展主要受到 Segment Anything Model (SAM) 的推动。这项先进的技术最初是为了通用计算机视觉而开发的,但在医学图像处理领域得到了迅速应用。我们的综述聚焦于 2023 年 4 月 1 日至 9 月 30 日这段重要的首次出版后六个月的时期,我们研究了 SAM 在解决长期临床挑战方面所需的改进和整合,特别关注了我们分析的 33 个开放数据集。尽管 SAM 在许多应用中达到了或超越了最先进的性能水平,但在一些方面仍存在不足,例如对颈动脉、肾上腺、视神经和下颌骨的分割。我们的调查深入研究了 SAM 的创新技术和其在各种医学影像场景中有效转化和应用的核心概念。
Jan, 2024
本研究介绍了一种用于自动化少样本语义分割的结构化框架,利用 Segment Anything Model(SAM)模型,并借助先前引导的掩模生成粗略像素级提示,以获得更高效的语义可辨别分割结果,实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。
Nov, 2023
Segment Anything Model (SAM) 通过使用不同的输入提示(如文本、边界框、点或掩膜)生成掩膜,克服了特定数据集稀缺性的约束,评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力,结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象,但对于点提示而言,表现不稳定,特别是在分割细长物体和有机材料方面,SAM 的性能较差,这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。
Apr, 2024
SAM 在医学图像分析中应用的能力较弱,但在交互式医学图像分割领域是一个有力的注释工具。
Apr, 2023