基于 SAM 先验的多视角遥感图像分割
由于高分辨率遥感卫星的发展,遥感相关研究工作获得了极大的便利。SAM 引入了一种普适的预训练模型用于图像分割任务,但是直接应用于遥感图像分割任务效果欠佳。为此,我们提出了 RSAM-Seg,即在 SAM 的基础上进行了适应性修改,消除了对手动干预提供提示的需求。在 SAM 的编码器部分的多头注意力块中,我们提出了 Adapter-Scale 和 Adapter-Feature 模块,它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明,RSAM-Seg 不仅改善了原始 SAM 和 U-Net 在云、建筑物、场地和道路场景中的效果,还突出了其作为辅助注释方法的潜力,可以识别某些数据集的真实值中的缺失区域。此外,在少样本情况下的表现也值得称赞,凸显了其在处理有限数据集时的潜力。
Feb, 2024
本研究介绍了一种用于自动化少样本语义分割的结构化框架,利用 Segment Anything Model(SAM)模型,并借助先前引导的掩模生成粗略像素级提示,以获得更高效的语义可辨别分割结果,实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。
Nov, 2023
本研究提出 SAMRS,通过整合 SAM 和现有的遥感物体检测数据集以生成大规模遥感分割数据集,该数据集在大小上超过了现有的高分辨率遥感分割数据集。SAMRS 可用于语义分割、实例分割和目标检测等研究领域。同时,我们对 SAMRS 进行了全面的分析并希望它能促进遥感分割、特别是大规模模型预训练等方面的研究。
May, 2023
本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model(SAM)应用于遥感图像分析领域,特别是处理来自不同地理背景的航空和轨道影像,实现 SAM 在遥感影像处理中的潜力。
Jun, 2023
该论文提出了一种基于 Implicit Ray-Transformer 和神经场的遥感场景语义分割方法,在有限的标记视图的情况下,通过引入多视角的三维结构先验信息以实现精确和视图一致的语义分割,并在实验中取得了较好效果。
Mar, 2023
本研究旨在利用 Vision Foundation Models(VFMs)的强大视觉识别能力,提高高分辨率遥感图像(RSIs)的变化检测,并将 VFMs 应用于 HR RSIs 的 CD 是首次的。
Sep, 2023
本文提出了一种基于 SAM 模型和 Prompt 学习的自动遥感图像实例分割方法(RSPrompter),并将其与其他常用的方法进行比较,结果证明该方法有效。
Jun, 2023
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023
我们提出了一种名为 ALPS 的创新自动标注框架,利用 Segment Anything Model (SAM) 预测遥感图像的准确伪标签,从而填补了遥感图像分析领域中海量未标注数据集和充分利用这些数据集进行高级 RS 分析之间的鸿沟。
Jun, 2024