使用 Segment Anything 模型扩大遥感分割数据集的规模
本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model(SAM)应用于遥感图像分析领域,特别是处理来自不同地理背景的航空和轨道影像,实现 SAM 在遥感影像处理中的潜力。
Jun, 2023
由于高分辨率遥感卫星的发展,遥感相关研究工作获得了极大的便利。SAM 引入了一种普适的预训练模型用于图像分割任务,但是直接应用于遥感图像分割任务效果欠佳。为此,我们提出了 RSAM-Seg,即在 SAM 的基础上进行了适应性修改,消除了对手动干预提供提示的需求。在 SAM 的编码器部分的多头注意力块中,我们提出了 Adapter-Scale 和 Adapter-Feature 模块,它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明,RSAM-Seg 不仅改善了原始 SAM 和 U-Net 在云、建筑物、场地和道路场景中的效果,还突出了其作为辅助注释方法的潜力,可以识别某些数据集的真实值中的缺失区域。此外,在少样本情况下的表现也值得称赞,凸显了其在处理有限数据集时的潜力。
Feb, 2024
本研究介绍了一种用于自动化少样本语义分割的结构化框架,利用 Segment Anything Model(SAM)模型,并借助先前引导的掩模生成粗略像素级提示,以获得更高效的语义可辨别分割结果,实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。
Nov, 2023
我们提出了一种名为 ALPS 的创新自动标注框架,利用 Segment Anything Model (SAM) 预测遥感图像的准确伪标签,从而填补了遥感图像分析领域中海量未标注数据集和充分利用这些数据集进行高级 RS 分析之间的鸿沟。
Jun, 2024
通过将可视化基础模型 Segment Anything(SAM)注入到隐式神经场模型 - INF 中,我们提出了一种新的多视图遥感图像分割方法,通过对测试视图和训练视图之间的 SAM 特征进行对比,得出每个测试视图的伪标签,从而增强整个场景的标注信息,实验证明我们的方法在有限的训练数据情况下优于主流方法,从而证实了 SAM 作为 INF 的一种补充在这一任务中的有效性。
May, 2024
本研究旨在利用 Vision Foundation Models(VFMs)的强大视觉识别能力,提高高分辨率遥感图像(RSIs)的变化检测,并将 VFMs 应用于 HR RSIs 的 CD 是首次的。
Sep, 2023
该研究提出一种基于 Segment Anything Model(SAM)的预训练框架,利用 SAM 对热成像图像进行伪标签生成,从而提高特定类别的分割结果精度,为处理特殊领域的问题提供了一种有效的解决方案,并生成了一个包含 100,000 多个像素注释标签的大规模热红外分割数据集。
Apr, 2023
SAM 是用于图像分割的第一个通用基础模型,能以自动或手动提示的方式进行零 - shot 图像分割,并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战,SAM 在某些情况下表现出色,但需要结合手动标注才能取得更好的表现。
Apr, 2023
介绍了 Segment Anything (SA) 项目 —— 一项新的任务、模型和图像分割数据集,该模型具有任务迁移和零样本学习的能力,并通过大规模数据集的训练,达到或超过以前完全监督结果的性能,旨在为计算机视觉的基础模型研究提供支持。
Apr, 2023