Feb, 2024
RSAM-Seg：一种基于SAM和先验知识集成的遥感图像语义分割方法
RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for
Remote Sensing Image Semantic Segmentation
TL;DR由于高分辨率遥感卫星的发展，遥感相关研究工作获得了极大的便利。SAM引入了一种普适的预训练模型用于图像分割任务，但是直接应用于遥感图像分割任务效果欠佳。为此，我们提出了RSAM-Seg，即在SAM的基础上进行了适应性修改，消除了对手动干预提供提示的需求。在SAM的编码器部分的多头注意力块中，我们提出了Adapter-Scale和Adapter-Feature模块，它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明，RSAM-Seg不仅改善了原始SAM和U-Net在云、建筑物、场地和道路场景中的效果，还突出了其作为辅助注释方法的潜力，可以识别某些数据集的真实值中的缺失区域。此外，在少样本情况下的表现也值得称赞，凸显了其在处理有限数据集时的潜力。