May, 2024

MetaEarth：全球尺度遥感图像生成的生成式基础模型

PDF
TL;DRMetaEarth 是一个生成性基础模型，通过分辨率引导的自级联生成框架，以及新颖的噪声采样策略，突破了图像生成的规模限制，实现了全球范围、多分辨率、无边界、几乎无限的遥感图像生成。
generative foundational modelsimage generationmetaearthresolution-guided self-cascading generative frameworkglobal-scale images
发现论文，激发创造
  • DiffusionSat：卫星遥感图像的生成基础模型

    DiffusionSat 是迄今为止最大的生成基础模型，使用公开可获得的大型高分辨率遥感数据集进行训练，实现对多个生成任务的解决，包括时间生成、多光谱输入的超分辨率和修复。同时它在卫星图像生成方面优于以前的最先进方法，也是第一个针对卫星图像的大规模生成基础模型。

    Dec, 2023

  • MetaSegNet: 基于元数据协同的视觉语言表示学习用于遥感图像语义分割

    我们提出了一种基于视觉 - 语言表示学习的元数据协作多模态分割网络（MetaSegNet），该网络用于遥感图像的语义分割，并展示了卓越的泛化性能和与现有方法相竞争的准确性。

    Dec, 2023

  • ChatEarthNet: 用于遥感的全球规模高质量图像 - 文本数据集

    我们提供了一个全球范围、高质量、多样性广泛、描述详细的图像 - 文本数据集 ChatEarthNet，其中包含由 ChatGPT-3.5 生成的 163,488 个图像 - 文本对及额外的由 ChatGPT-4V 生成的 10,000 个图像 - 文本对，这对于远程感知的视觉语言基础模型的训练和大型视觉语言模型的评估具有重要潜力，并将供公众使用。

    Feb, 2024

  • Changen2: 多时相遥感生成变化基础模型

    我们提出了基于生成模型的变化数据生成器 Changen2，它能够通过自监督学习从未标记的单时相影像中生成时间序列影像及其语义和变化标签，具有优秀的时空可扩展性和迁移能力。

    Jun, 2024

  • EarthNet2021: 一个大规模数据集和挑战问题，用于作为引导视频预测任务的地表预测

    通过预测与未来天气相关的卫星图像，借助大规模数据集和深度神经网络模型进行天气预测，从而有助于农作物产量预测、森林健康评估或生物多样性监测等下游应用。

    Apr, 2021

  • EarthGPT：遥感领域多感知器图像理解的通用多模态大型语言模型

    提出了一个先驱性的多模态大型语言模型（MLLM）EarthGPT，该模型集成了各种多传感器遥感图像解释任务，通过构建大规模的多传感器多模态遥感指令追踪数据集 MMRS，解决了 MLLM 在遥感领域缺乏专业知识的问题，并在各种遥感图像解释任务上展现出其卓越的性能，并为开放式推理任务提供了一种多功能的范例。

    Jan, 2024

  • PhilEO Bench: 评估地理空间基础模型

    本研究介绍了 PhilEO Bench，这是一个用于评估遥感基础模型的创新评估框架，其中包括一个测试平台和一个包含建筑密度估计、道路分割和土地覆盖分类三个下游任务的 400GB Sentinel-2 数据集。通过使用该框架对 Prithvi 和 SatMAE 等不同基础模型进行多个 n-shot 和收敛率的实验评估。

    Jan, 2024

  • GeoSynth: 上下文感知高分辨率卫星图像合成

    GeoSynth 是一个模型，用于合成具有全球风格和图像驱动的布局控制的卫星图像，通过文本提示或地理位置进行全球风格控制，可以使用场景语义或区域外观，通过在大量成对卫星图像、带自动生成标题和 OpenStreetMap 数据的数据集上训练该模型，在包括不同类型的布局控制在内的控制输入方面进行评估，结果表明我们的模型可以生成多样化、高质量的图像，并展示出优异的零次泛化能力。

    Apr, 2024

  • MultiEarth 2022 -- 基于多模态回归和生成的矩阵补全挑战冠军方案

    本文提出了一种适应性实时多模态回归和生成框架来解决卫星数据稀疏性的挑战，并在 CVPR 2022 的 MultiEarth 矩阵完备性挑战中取得了优异的性能，其中包括 LPIPS 为 0.2226，PSNR 为 123.0372 和 SSIM 为 0.6347。

    Jun, 2022

  • GEO-Bench：地球监测基础模型

    本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。

    Jun, 2023