SAMDA: 利用 SAM 进行少样本领域自适应的电子显微镜分割
本研究提出了一种基于图像与点云的混合特征增强方法,通过利用 SAM 模型在三维领域中的普适性能力,解决了未标注域适应中的领域差异问题,并在三维分割任务中取得了最新的研究进展。
Oct, 2023
引入了名为 MA-SAM 的适用于各种体积和视频医学数据的模态无关 SAM 适应框架,通过在图像编码器的转换器块中注入一系列的 3D 适配器,使预训练的 2D 主干从输入数据中提取第三维信息。在四个医学图像分割任务上,使用了 CT、MRI 和外科手术视频数据的 10 个公共数据集进行全面评估,结果显示,我们的方法在不使用任何提示的情况下,始终表现优于各种最先进的三维方法,在 CT 多器官分割、MRI 前列腺分割和外科手术场景分割的 Dice 指标上分别超过 nnU-Net 0.9%、2.6% 和 9.9%。在使用提示时,我们的模型也表现出强大的泛化能力,并在具有挑战性的肿瘤分割任务中表现出色。
Sep, 2023
本文介绍了一种利用有限数量的样本来对 Segment Anything Model (SAM) 进行微调的高效实用方法,以适用于医学领域,经实证研究表明 SAM 在医学领域即使只有少量标记数据也能有效对齐,通过在脑肿瘤分割(BraTS)和多器官 CT 分割(Synapse)实验中的综合结果,验证了这种方法的可行性和有效性,为 SAM 在医学领域的实际应用铺平了道路。
Aug, 2023
给定零样本分割技术基础模型,我们提出了 “语义增强” 的概念,通过指导分割过程并调整结果以适应特定领域的期望,实现了最佳分割技术的快速适应。我们将语义增强应用于 Segment Anything Model(SAM)以获取透射电子显微镜的微观结构分割,通过提取各种中间掩模的几何和纹理特征进行掩模去除和掩模合并操作,结果在三个难度类别的图像上相对于原始的 SAM(ViT-L)分别获得了平均 IoU 增加 21.35%、12.6%、5.27% 和平均假阳性掩模降低 9.91%、18.42%、4.06%。
Apr, 2024
本文提出了一个基于深度学习技术的医学图像分割模型,该模型改进了 Segment Anything Model (SAM) 并提出了一个新的模型 ——decoupling SAM (DeSAM),通过解耦 mask 的生成和 prompt 嵌入来提高在自动模式下的泛化能力,实验结果表明 DeSAM 方法比之前的最新领域泛化方法的 dice 分数平均提高了 8.96%(从 70.06% 到 79.02%),并且 DeSAM 方法可以在入门级 GPU 上进行训练。
Jun, 2023
本文提出了一种名为 GoodSAM 的新型框架,通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题,同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递,实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升,并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。
Mar, 2024
本研究介绍了一种用于自动化少样本语义分割的结构化框架,利用 Segment Anything Model(SAM)模型,并借助先前引导的掩模生成粗略像素级提示,以获得更高效的语义可辨别分割结果,实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。
Nov, 2023
本文提出了一种称为 Med SAM Adapter 的方法,它通过将医学特定领域知识与分析模型进行简单而有效的适应技术的集成,将 SAM 模型的强分割能力扩展到医学图像分割,在多种图像模态下优化 19 项医学图像分割任务,并超过各种已有的基于医学图像分割的最新技术,并与全面优化的 MedSAM 相比有不错的性能优势。
Apr, 2023
基于自训练的策略,通过锚点规范化和低秩微调,提升了图像分割基础模型的适应性和计算效率,并在多个下游分割任务中表现出优于预训练模型 SAM 和最先进的领域自适应方法的性能。
Dec, 2023