May, 2024

FMARS：使用基础模型为灾害管理注释遥感图像

PDF
TL;DR介绍了 FMARS（Foundation Model Annotations in Remote Sensing）的方法，利用 Very-High Resolution（VHR）遥感图像和基础模型进行快速和鲁棒的标注，重点关注灾害管理，并提供了一个大规模数据集，用于训练分割模型和提高转移能力。
very-high resolution (vhr) remote sensing imagerymachine learningannotationsdisaster managementsegmentation models
发现论文，激发创造
  • 基于文本引导的视觉基础模型的遥感图像语义分割

    本研究集中于遥感领域，通过利用多个基础模型来促进远程 sensing 图像语义分割任务。我们的实验结果表明，该方法在几个广泛使用的远程 sensing 数据集上具有很高的准确性。

    Apr, 2023

  • RS-DFM：一种用于多样化下游任务的遥感分布式基础模型

    提出了一种基于广义信息映射和交互的远程感知分布式基础模型（RS-DFM），可以通过将观测映射到统一空间并实施任务不可知的信息交互策略，实现多平台和各种下游任务的在线协同感知。

    Jun, 2024

  • RS5M：一种用于遥感视觉语言的大规模数据集和基础模型

    本文提出了一种新的框架，包括领域基础模型（DFM），该模型缩小了通用基础模型（GFM）和特定领域下游任务之间的差距，并通过预训练的 VLM 将筛选后的遥感图像与英文描述进行配对，构成了第一个大规模遥感图像 - 文本匹配数据集。在该数据集上的实验结果表明，使用上述数据集和提出的 DFM 方法的零样本分类和视觉语言检索任务的性能都较好，并且 RS Stable Diffusion 模型的训练也取得了成功的结果。

    Jun, 2023

  • PhilEO Bench: 评估地理空间基础模型

    本研究介绍了 PhilEO Bench，这是一个用于评估遥感基础模型的创新评估框架，其中包括一个测试平台和一个包含建筑密度估计、道路分割和土地覆盖分类三个下游任务的 400GB Sentinel-2 数据集。通过使用该框架对 Prithvi 和 SatMAE 等不同基础模型进行多个 n-shot 和收敛率的实验评估。

    Jan, 2024

  • 通过地面遥感对齐构建无需注释的遥感视觉 - 语言基础模型

    我们提出了一种基于视觉语言模型训练遥感图像的方法，无需使用任何文本注释。我们的关键洞察力是使用地面上的互联网图像作为遥感图像和语言之间的中介。通过使用大量的配对互联网和卫星图像，我们训练了遥感图像的图像编码器与 CLIP 的图像编码器对齐。我们的无监督方法使得能够训练一种新型的大规模遥感图像视觉语言模型 (VLM)，适用于两种不同分辨率的遥感图像。我们展示了这些 VLM 在卫星图像的零样本、开放词汇的图像分类、检索、分割和视觉问答任务中的能力。我们的无需文本注释的 VLM 在这些任务的每个方面都优于现有有监督训练的 VLM，分类任务上最高提升了 20%，分割任务上提升了 80%。

    Dec, 2023

  • 使用 SAM 进行建筑物分割模型的零样本精细调整

    我们提出了一种新颖的方法来针对现有模型的泛化性能下降问题，将基础模型自适应于特定领域，如遥感图像。我们通过集成预训练的卷积神经网络作为提示生成器，为 Segment Anything Model 增加了识别能力，从而改善了其在遥感图像上的表现。通过在三个遥感数据集上评估我们的方法，包括 WHU Buildings 数据集、Massachusetts Buildings 数据集和 AICrowd Mapping Challenge 数据集，我们观察到我们的方法在不同分布的性能上取得了显著提高，并计划发布我们的代码库，以促进遥感领域对基础模型进行更多领域特定任务的探索。

    Oct, 2023

  • 在多传感器地理空间基础模型中连接远程传感器

    msGFM 是一个多传感器地理空间基础模型，有效地汇集来自四个关键传感器模态的数据，适用于各种类型的传感器，包括遥感图像分类、分割、云去除和泛光等任务，为发展多传感器地理空间预训练模型提供指南。

    Apr, 2024

  • GEO-Bench：地球监测基础模型

    本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。

    Jun, 2023

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • 利用地理空间基础模型的多光谱遥感图像检索

    使用地理空间基础模型 Prithvi 进行遥感图像检索，在多光谱卫星数据上取得了出色的性能，提出了三种压缩方法，能够在保持浮点数嵌入精度的同时实现 32 倍的压缩比，而且与更短哈希码的检索速度相匹配。

    Mar, 2024