CVPRApr, 2024

在多传感器地理空间基础模型中连接远程传感器

PDF
TL;DRmsGFM 是一个多传感器地理空间基础模型，有效地汇集来自四个关键传感器模态的数据，适用于各种类型的传感器，包括遥感图像分类、分割、云去除和泛光等任务，为发展多传感器地理空间预训练模型提供指南。
geospatial analysismultisensor geospatial foundation modelremote sensorsmasked image modelingmultisensor images
发现论文，激发创造
  • 基础模型在地理空间人工智能中的机遇与挑战

    通过在多个地理空间子领域进行测试，发现在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但是在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此，通过处理不同的地理数据模态，建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。

    Apr, 2023

  • SkySense: 一种面向地球观测影像的多模态远程感知基础模型

    SkySense 是目前最大的多模态遥感基础模型，通过多种模态的时空序列输入，采用 Multi-Granularity Contrastive Learning 和 Geo-Context Prototype Learning 进行预训练学习，能灵活结合或单独使用其模块以适应各种任务，并在 16 个数据集上的 7 个任务中表现出了卓越的泛化能力，超过了 18 个最新的遥感基础模型。

    Dec, 2023

  • RS-DFM：一种用于多样化下游任务的遥感分布式基础模型

    提出了一种基于广义信息映射和交互的远程感知分布式基础模型（RS-DFM），可以通过将观测映射到统一空间并实施任务不可知的信息交互策略，实现多平台和各种下游任务的在线协同感知。

    Jun, 2024

  • 面向视觉 - 语言地理基础模型：一项调查

    本文全面审查了视觉 - 语言地理基础模型（VLGFMs），总结和分析了该领域的最新发展，包括 VLGFMs 的背景、动机、核心技术和应用，以及未来研究方向的洞察、问题和讨论。

    Jun, 2024

  • EarthGPT：遥感领域多感知器图像理解的通用多模态大型语言模型

    提出了一个先驱性的多模态大型语言模型（MLLM）EarthGPT，该模型集成了各种多传感器遥感图像解释任务，通过构建大规模的多传感器多模态遥感指令追踪数据集 MMRS，解决了 MLLM 在遥感领域缺乏专业知识的问题，并在各种遥感图像解释任务上展现出其卓越的性能，并为开放式推理任务提供了一种多功能的范例。

    Jan, 2024

  • CityFM：解决城市挑战的城市基础模型

    通过开放地理空间数据和自我监督学习，CityFM 构建了一个多模态的预训练基础模型，用于处理地理空间数据和回答城市相关问题，并在道路、建筑和区域级别的任务上获得了优秀的性能。

    Oct, 2023

  • 利用地理空间基础模型的多光谱遥感图像检索

    使用地理空间基础模型 Prithvi 进行遥感图像检索，在多光谱卫星数据上取得了出色的性能，提出了三种压缩方法，能够在保持浮点数嵌入精度的同时实现 32 倍的压缩比，而且与更短哈希码的检索速度相匹配。

    Mar, 2024

  • 多视角遥感数据的自适应融合用于最佳子区域作物产量预测

    利用多视角学习方法和多视图门控融合模型 (MVGF)，本研究预测不同作物和地区的农作物产量，数据源包括 Sentinel-2 卫星的多光谱光学图像和作物生长季节的气象数据，以及土壤特性和地形信息等静态特征，实验结果表明 MVGF 模型相较于传统模型在预测任务上具有更好的表现，达到了 0.68 的 R2 值。

    Jan, 2024

  • 一切于一：走向地球视觉统一基础模型

    采用单一的 Transformer 骨干网络，将多种数据模态与不同空间分辨率结合，解决了当前基础模型在地球视觉领域的多个下游任务中的适用性问题。

    Jan, 2024

  • 在前沿上预训练十亿级地理空间基础模型

    在预训练基于互联网规模无标签数据的基础模型 (Foundation Models，FMs) 中，研究增至十亿级参数规模的 FMs 和高性能计算 (HPC) 训练，以应用于地理空间图像应用中，取得了较小规模模型的显著准确率提升。

    Apr, 2024