Oct, 2023

使用 SAM 进行建筑物分割模型的零样本精细调整

PDF
TL;DR我们提出了一种新颖的方法来针对现有模型的泛化性能下降问题，将基础模型自适应于特定领域，如遥感图像。我们通过集成预训练的卷积神经网络作为提示生成器，为 Segment Anything Model 增加了识别能力，从而改善了其在遥感图像上的表现。通过在三个遥感数据集上评估我们的方法，包括 WHU Buildings 数据集、Massachusetts Buildings 数据集和 AICrowd Mapping Challenge 数据集，我们观察到我们的方法在不同分布的性能上取得了显著提高，并计划发布我们的代码库，以促进遥感领域对基础模型进行更多领域特定任务的探索。
foundation modelsremote sensing imagerybuilding instance segmentationsegment anything modelprompt generator
发现论文，激发创造
  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • 基于视觉基础模型的遥感实例分割提示学习

    本文提出了一种基于 SAM 模型和 Prompt 学习的自动遥感图像实例分割方法（RSPrompter），并将其与其他常用的方法进行比较，结果证明该方法有效。

    Jun, 2023

  • 基于基础模型构建最佳的医学图像分割算法：使用 Segment Anything Model 的综合实证研究

    对于自动分割医学图像的研究，本文总结了目前的微调策略，并在包括所有常见放射学模态的 17 个数据集上进行评估，研究发现微调 Segment Anything Model (SAM) 相较于以前的分割方法具有稍微更好的性能，使用参数效率高的学习在编码器和解码器中进行微调的策略优于其他策略，网络架构对最终性能影响不大，通过自监督学习进一步训练 SAM 可以提高最终模型性能。

    Apr, 2024

  • 通过弱监督适应提高分割基础模型在分布变化下的泛化能力

    基于自训练的策略，通过锚点规范化和低秩微调，提升了图像分割基础模型的适应性和计算效率，并在多个下游分割任务中表现出优于预训练模型 SAM 和最先进的领域自适应方法的性能。

    Dec, 2023

  • 在放射学数据上测试 segment anything 模型

    深度学习模型在大量数据训练下已成为最近有效的预测问题解决方法，研究了基于自然图像训练的基础模型在磁共振成像数据上的分割任务性能，结果表明这些模型虽然在少数情况下可接受，但根据整体趋势，它们在整个体积的磁共振成像分割上不够有效，而在少数特定切片上表现良好，这提示基于自然图像训练的基础模型可能在其他成像模态上效果不佳。

    Dec, 2023

  • GeoSAM：稀疏与密集视觉提示的自动化移动基础设施分割中的 SAM 微调

    提出了一种基于 Segment Anything Model (SAM) 的新框架 Geographical SAM (GeoSAM)，通过使用来自零样本学习的稠密视觉提示和预训练的 CNN 分割模型的稀疏视觉提示，实现了对地理图像中的移动设施进行精细调优的策略。所提出的 GeoSAM 在地理图像分割中优于现有方法，特别是在道路基础设施、行人基础设施和平均方面分别提高了 20%、14.29% 和 17.65%，在实现对地理图像中包括道路和行人基础设施的移动设施的分割上取得了重大突破。

    Nov, 2023

  • SAM.MD：基于 Segment Anything 模型的零样本医学图像分割能力

    本文将利用基于 Segment Anything Model (SAM) 的零样本能力进行医学图像分割任务的初步评估，结果表明，SAM 可以很好地适应 CT 数据，因此有望成为半自动分割工具的推手，并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。

    Apr, 2023

  • 零样本眼部特征分割的 Segment Anything Model (SAM)

    Segment Anything Model (SAM) 是第一个用于图像分割的基础模型，本研究评估了 SAM 在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明，SAM 的分割效果可以与专门模型相媲美，且使用提示工具可以提高其性能，示例数据集中瞳孔分割的 IoU 达到 93.34%。SAM 等基础模型有望通过快速且易用的图像分割方法，革新注视估计领域，减少对专门模型和繁琐手动标注的依赖。

    Nov, 2023