SAM 整合互补网络的梯度微调方法

Jun, 2023

Ladder Fine-tuning approach for SAM integrating complementary network

Shurong Chai, Rahul Kumar Jain, Shiyu Teng, Jiaqing Liu, Yinhao Li...

TL;DR本文提出了一种在医学图像分割中，利用卷积神经网络与已有的广义模型进行 fine-tuning 的方法，以优化模型的利用效果，并在开放数据集上取得了有竞争力的成果。

Abstract

Recently, foundation models have been introduced demonstrating various tasks in the field of computer vision. These models such as segment anything model (SAM) are generalized models trained using huge datasets.

foundation models segment anything model medical imaging fine-tuning convolutional neural network

发现论文，激发创造

基于基础模型构建最佳的医学图像分割算法：使用 Segment Anything Model 的综合实证研究

对于自动分割医学图像的研究，本文总结了目前的微调策略，并在包括所有常见放射学模态的 17 个数据集上进行评估，研究发现微调 Segment Anything Model (SAM) 相较于以前的分割方法具有稍微更好的性能，使用参数效率高的学习在编码器和解码器中进行微调的策略优于其他策略，网络架构对最终性能影响不大，通过自监督学习进一步训练 SAM 可以提高最终模型性能。

Apr, 2024

通过微调 SAM 在少量示例上进行医学影像分割的低成本午餐

本文介绍了一种利用有限数量的样本来对 Segment Anything Model (SAM) 进行微调的高效实用方法，以适用于医学领域，经实证研究表明 SAM 在医学领域即使只有少量标记数据也能有效对齐，通过在脑肿瘤分割（BraTS）和多器官 CT 分割（Synapse）实验中的综合结果，验证了这种方法的可行性和有效性，为 SAM 在医学领域的实际应用铺平了道路。

Aug, 2023

增强医学图像分割的基础模型多提示微调技术

我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

Oct, 2023

如何高效地将大型分割模型（SAM）适应于医学图像

本文介绍了一种针对医学影像的零样本分割模型 Segment Anything (SAM)，通过细调轻量级任务特定的 ViT 预测头来提高其在医学影像数据集上的性能。

Jun, 2023

AdaptiveSAM：用于手术场景分割的 SAM 调优方法

手术场景分析中使用人工智能的分割是一个基本问题。然而，这个领域内固有的数据稀缺性使得为该任务调整传统分割技术变得具有挑战性。因此，我们提出了一种名为 AdaptiveSAM 的改进模型，可以快速有效地适应新的数据集，并可以使用文本提示进行分割，其在各种医学图像数据集上优于当前最先进的方法。

Aug, 2023

nnSAM: 插拔式分段模型提升 nnUNet 性能

将基础模型和领域特定模型相结合，nnSAM 在医学图像分割中提供了更准确、更健壮的解决方案，并允许少样本学习。

Sep, 2023

串联、微调、再训练：一种用于半监督三维医学图像分割的 SAM 支持框架

通过使用 Segment Anything Model（SAM）进行重新调整，我们提出了一个三阶段的框架（CFR）用于建立半监督的医学图像分割模型，并且在改善标注成本和保持性能方面取得了显著的改进。

Mar, 2024

使用 SAM 的输入增强：利用分割基础模型提升医学图像分割

SAM 是一个通用视觉模型，虽然在医学图像分割上的分割效果不高，但其生成的掩膜、特征和稳定性分数可以用于构建和训练更好的医学图像分割模型，该论文展示了如何用 SAM 来增强常用的医学图像分割模型（例如 U-Net），两个数据集上的实验表明了我们提出方法的有效性。

Apr, 2023

使用 SAM 进行建筑物分割模型的零样本精细调整

我们提出了一种新颖的方法来针对现有模型的泛化性能下降问题，将基础模型自适应于特定领域，如遥感图像。我们通过集成预训练的卷积神经网络作为提示生成器，为 Segment Anything Model 增加了识别能力，从而改善了其在遥感图像上的表现。通过在三个遥感数据集上评估我们的方法，包括 WHU Buildings 数据集、Massachusetts Buildings 数据集和 AICrowd Mapping Challenge 数据集，我们观察到我们的方法在不同分布的性能上取得了显著提高，并计划发布我们的代码库，以促进遥感领域对基础模型进行更多领域特定任务的探索。

Oct, 2023

基于分割基础模型的医疗图像分类提升

本文介绍了一种基于 Segment Anything Model（SAM）的创新增强方法 SAMAug-C，用于生成原始图像的变体并增强分类数据集，实验结果验证了该方法的有效性。

Jun, 2024