基于视觉基础模型的遥感实例分割提示学习
本研究集中于遥感领域,通过利用多个基础模型来促进远程 sensing 图像语义分割任务。我们的实验结果表明,该方法在几个广泛使用的远程 sensing 数据集上具有很高的准确性。
Apr, 2023
本研究提出SAMRS,通过整合SAM和现有的遥感物体检测数据集以生成大规模遥感分割数据集,该数据集在大小上超过了现有的高分辨率遥感分割数据集。SAMRS可用于语义分割、实例分割和目标检测等研究领域。同时,我们对SAMRS进行了全面的分析并希望它能促进遥感分割、特别是大规模模型预训练等方面的研究。
May, 2023
本研究旨在将Meta AI的创新图像分割模型Segment Anything Model(SAM)应用于遥感图像分析领域,特别是处理来自不同地理背景的航空和轨道影像,实现SAM在遥感影像处理中的潜力。
Jun, 2023
我们提出了一种新颖的方法来针对现有模型的泛化性能下降问题,将基础模型自适应于特定领域,如遥感图像。我们通过集成预训练的卷积神经网络作为提示生成器,为Segment Anything Model增加了识别能力,从而改善了其在遥感图像上的表现。通过在三个遥感数据集上评估我们的方法,包括WHU Buildings数据集、Massachusetts Buildings数据集和AICrowd Mapping Challenge数据集,我们观察到我们的方法在不同分布的性能上取得了显著提高,并计划发布我们的代码库,以促进遥感领域对基础模型进行更多领域特定任务的探索。
Oct, 2023
本研究介绍了一种用于自动化少样本语义分割的结构化框架,利用Segment Anything Model(SAM)模型,并借助先前引导的掩模生成粗略像素级提示,以获得更高效的语义可辨别分割结果,实验证明该方法在DLRSD数据集上优于其他可用的少样本方法。
Nov, 2023
本文提出了一个针对SAM原始输出的简化框架,通过利用SGO和SGB这两个新概念,引入了新的目标损失和边界损失作为增强组件,用于提高语义分割性能。在ISPRS Vaihingen和LoveDA Urban两个知名数据集上的实验结果证明了我们方法的有效性。
Dec, 2023
由于高分辨率遥感卫星的发展,遥感相关研究工作获得了极大的便利。SAM引入了一种普适的预训练模型用于图像分割任务,但是直接应用于遥感图像分割任务效果欠佳。为此,我们提出了RSAM-Seg,即在SAM的基础上进行了适应性修改,消除了对手动干预提供提示的需求。在SAM的编码器部分的多头注意力块中,我们提出了Adapter-Scale和Adapter-Feature模块,它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明,RSAM-Seg不仅改善了原始SAM和U-Net在云、建筑物、场地和道路场景中的效果,还突出了其作为辅助注释方法的潜力,可以识别某些数据集的真实值中的缺失区域。此外,在少样本情况下的表现也值得称赞,凸显了其在处理有限数据集时的潜力。
Feb, 2024
本研究基于共享编码器和任务特定解码器架构,对遥感基础模型进行多任务监督预训练,包括语义分割、实例分割和旋转目标检测。随后在不同的遥感下游任务上对预训练模型进行微调,并通过14个数据集的广泛实验验证了我们模型相对于同样规模的现有模型的优越性以及与更大型的最先进模型的竞争性表现,从而验证了多任务预训练的有效性。
Mar, 2024
通过将可视化基础模型Segment Anything(SAM)注入到隐式神经场模型-INF中,我们提出了一种新的多视图遥感图像分割方法,通过对测试视图和训练视图之间的SAM特征进行对比,得出每个测试视图的伪标签,从而增强整个场景的标注信息,实验证明我们的方法在有限的训练数据情况下优于主流方法,从而证实了SAM作为INF的一种补充在这一任务中的有效性。
May, 2024
本研究解决了遥感图像实例分割中前景与背景比例失衡及实例尺寸有限的问题,提出了一种基于提示学习的新方法。通过设计局部提示模块和全局到局部提示模块,结合提案区域损失函数,显著提高了实例分割效果,使得该方法能够快速执行并具备竞争力。
Sep, 2024