Feb, 2024

RSAM-Seg：一种基于 SAM 和先验知识集成的遥感图像语义分割方法

PDF
TL;DR由于高分辨率遥感卫星的发展，遥感相关研究工作获得了极大的便利。SAM 引入了一种普适的预训练模型用于图像分割任务，但是直接应用于遥感图像分割任务效果欠佳。为此，我们提出了 RSAM-Seg，即在 SAM 的基础上进行了适应性修改，消除了对手动干预提供提示的需求。在 SAM 的编码器部分的多头注意力块中，我们提出了 Adapter-Scale 和 Adapter-Feature 模块，它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明，RSAM-Seg 不仅改善了原始 SAM 和 U-Net 在云、建筑物、场地和道路场景中的效果，还突出了其作为辅助注释方法的潜力，可以识别某些数据集的真实值中的缺失区域。此外，在少样本情况下的表现也值得称赞，凸显了其在处理有限数据集时的潜力。
remote sensingimage segmentationsamrsam-segadapter modules
发现论文，激发创造
  • 使用 Segment Anything 模型扩大遥感分割数据集的规模

    本研究提出 SAMRS，通过整合 SAM 和现有的遥感物体检测数据集以生成大规模遥感分割数据集，该数据集在大小上超过了现有的高分辨率遥感分割数据集。SAMRS 可用于语义分割、实例分割和目标检测等研究领域。同时，我们对 SAMRS 进行了全面的分析并希望它能促进遥感分割、特别是大规模模型预训练等方面的研究。

    May, 2023

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • 基于 SAM 先验的多视角遥感图像分割

    通过将可视化基础模型 Segment Anything（SAM）注入到隐式神经场模型 - INF 中，我们提出了一种新的多视图遥感图像分割方法，通过对测试视图和训练视图之间的 SAM 特征进行对比，得出每个测试视图的伪标签，从而增强整个场景的标注信息，实验证明我们的方法在有限的训练数据情况下优于主流方法，从而证实了 SAM 作为 INF 的一种补充在这一任务中的有效性。

    May, 2024

  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • 适应高分辨率遥感影像变化检测的片段任意模型

    本研究旨在利用 Vision Foundation Models（VFMs）的强大视觉识别能力，提高高分辨率遥感图像（RSIs）的变化检测，并将 VFMs 应用于 HR RSIs 的 CD 是首次的。

    Sep, 2023

  • 基于视觉基础模型的遥感实例分割提示学习

    本文提出了一种基于 SAM 模型和 Prompt 学习的自动遥感图像实例分割方法（RSPrompter），并将其与其他常用的方法进行比较，结果证明该方法有效。

    Jun, 2023

  • 基于 SAM 辅助的遥感影像语义分割及对象和边界约束

    本文提出了一个针对 SAM 原始输出的简化框架，通过利用 SGO 和 SGB 这两个新概念，引入了新的目标损失和边界损失作为增强组件，用于提高语义分割性能。在 ISPRS Vaihingen 和 LoveDA Urban 两个知名数据集上的实验结果证明了我们方法的有效性。

    Dec, 2023

  • GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

    本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。

    Mar, 2024

  • 道路网络图提取的分段模型

    我们提出了 SAM-Road，它是 Segment Anything Model（SAM）的一种适应性方法，用于从卫星图像中提取大规模的矢量化道路网络图。我们通过将图形几何形式化为密集语义分割任务，利用 SAM 的固有优势来预测图形几何，SAM 的图像编码器经过微调，产生用于道路和交叉口的概率掩码，通过简单的非最大抑制来提取图形顶点。为了预测图形拓扑，我们设计了一种轻量级的基于 Transformer 的图神经网络，它利用 SAM 图像嵌入来估计顶点之间边存在的概率。我们的方法可以直接预测覆盖数平方公里的大区域的图形顶点和边，无需昂贵和复杂的后处理启发式方法，并且能够在几秒钟内构建完整的道路网络图。通过其简单、直接和极简主义的设计，SAM-Road 在城市规模数据集上实现了与 RNGDet++ 等最先进方法相当的准确性，同时运行速度提高了 40 倍。因此，我们展示了将基础视觉模型应用于图学习任务时的强大能力。该代码可在此 URL 上找到。

    Mar, 2024

  • GeoSAM：稀疏与密集视觉提示的自动化移动基础设施分割中的 SAM 微调

    提出了一种基于 Segment Anything Model (SAM) 的新框架 Geographical SAM (GeoSAM)，通过使用来自零样本学习的稠密视觉提示和预训练的 CNN 分割模型的稀疏视觉提示，实现了对地理图像中的移动设施进行精细调优的策略。所提出的 GeoSAM 在地理图像分割中优于现有方法，特别是在道路基础设施、行人基础设施和平均方面分别提高了 20%、14.29% 和 17.65%，在实现对地理图像中包括道路和行人基础设施的移动设施的分割上取得了重大突破。

    Nov, 2023