SegEarth-OV:无训练开放词汇语义分割在遥感图像中的应用
本研究集中于遥感领域,通过利用多个基础模型来促进远程 sensing 图像语义分割任务。我们的实验结果表明,该方法在几个广泛使用的远程 sensing 数据集上具有很高的准确性。
Apr, 2023
本文提出一种基于 RGB-Height 数据的遥感多模态语义分割新基准数据集,包含大规模数据集,认真评测已有的方法并提出一种新的 Transformer-based 中间多模态融合 (TIMF) 模块来适应令人满意的语义分割性能。
May, 2023
本文提出了一个针对SAM原始输出的简化框架,通过利用SGO和SGB这两个新概念,引入了新的目标损失和边界损失作为增强组件,用于提高语义分割性能。在ISPRS Vaihingen和LoveDA Urban两个知名数据集上的实验结果证明了我们方法的有效性。
Dec, 2023
我们提出了一种基于视觉-语言表示学习的元数据协作多模态分割网络(MetaSegNet),该网络用于遥感图像的语义分割,并展示了卓越的泛化性能和与现有方法相竞争的准确性。
Dec, 2023
由于高分辨率遥感卫星的发展,遥感相关研究工作获得了极大的便利。SAM引入了一种普适的预训练模型用于图像分割任务,但是直接应用于遥感图像分割任务效果欠佳。为此,我们提出了RSAM-Seg,即在SAM的基础上进行了适应性修改,消除了对手动干预提供提示的需求。在SAM的编码器部分的多头注意力块中,我们提出了Adapter-Scale和Adapter-Feature模块,它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明,RSAM-Seg不仅改善了原始SAM和U-Net在云、建筑物、场地和道路场景中的效果,还突出了其作为辅助注释方法的潜力,可以识别某些数据集的真实值中的缺失区域。此外,在少样本情况下的表现也值得称赞,凸显了其在处理有限数据集时的潜力。
Feb, 2024
通过使用SegGPT作为基础模型,分别为每个新类别使用可学习的提示语进行预测,并通过图像修复任务解决遥感领域中存在的对象大小不一致性和补丁边界的不连续性问题,同时利用图像嵌入的相似性搜索来选择提示语和减少误报预测,实验结果表明我们的方法将简单微调的SegGPT在Few-shot OpenEarthMap数据集验证集上的加权mIoU从15.96提升到35.08。
Apr, 2024
通过综合语义嵌入、稀疏支持示例和全局内容调制,我们提出了一种全新的远程感知图像少样本分割方法,该方法在标准少样本分割基准测试中显示出卓越性能,达到了最新的技术水平。
May, 2024
本研究解决了开放词汇物体检测在遥感图像中泛化能力不足的问题。通过将任务重新定义为“在地球上定位任何物体”(LAE),并开发LAE-标签引擎,创建了首个大规模的遥感物体检测数据集LAE-1M。研究表明,LAE-1M数据集和LAE-DINO模型的应用显著提升了检测性能,预计将对环境监测等领域产生重要影响。
Aug, 2024
本研究针对开放词汇图像语义分割(OVS)在遥感图像中的应用,解决了现有方法在处理遥感图像特有特征时的不足。我们提出了首个专为遥感图像设计的OVS框架,引入了旋转聚合相似度计算模块和多尺度图像特征整合,显著提升了语义分割的准确性,并建立了首个开放的遥感图像OVS基准,为研究提供了重要工具和数据支持。
Sep, 2024
本研究针对遥感领域在有限标注数据情况下的学习难题,提出了一个广义少样本语义分割基准。通过引入新的数据集和挑战,研究不仅促进了模型对新类的适应能力,还强调在训练基础类上的表现。研究结果表明,该广义设置更具挑战性,对遥感任务具有重要影响。
Sep, 2024