Jun, 2024

M3LEO：一种多模态、多标签的地球观测数据集集成干涉合成孔径雷达和 RGB 数据

PDF
TL;DR卫星遥感技术革命性地改变了我们在迅速发展的世界中解决全球挑战的方式。每天都会通过卫星传感器产生大量的地球观测（EO）数据，但是将这些大规模数据集进行处理以供机器学习流程使用在技术和计算方面具有挑战性。尤其是不同类型的 EO 数据通常托管在各种平台上，在 Python 预处理工具的可用性方面存在差异。此外，数据源和数据分割的空间对齐可能对初学者用户构成重大技术障碍。我们引入了 M3LEO，这是一个多模态、多标签的 EO 数据集，包括了来自 Sentinel-1 的极化、干涉和相干 SAR 数据，以及 Sentinel-2 的 RGB 图像和一套用于模型评估的标签任务。M3LEO 跨越 17.5TB，其中包含了来自六个地理区域的约 1000 万数据片段。该数据集由灵活的 PyTorch Lightning 框架支持，并使用 Hydra 进行配置管理。我们提供了一些工具，以便将任何在流行平台（如 Google Earth Engine）上可用的数据集与我们的框架整合。初步实验验证了我们的数据和框架的实用性，显示出 SAR 图像包含了从 RGB 数据中无法提取的信息。数据可在 huggingface.co/M3LEO 获得，代码可在 github.com/spaceml-org/M3LEO 获取。
satellite-based remote sensingearth observation (eo) datasynthetic aperture radar (sar)m3leo datasetmachine learning
发现论文，激发创造
  • SSL4EO-S12: 大规模多模态、多时相的自监督学习地球观测数据集

    使用自监督学习的方式对遥感数据进行预处理，能够形成高质量的可用于计算机视觉应用的表示。

    Nov, 2022

  • SEN12MS：一份经过整理的、包含地理参考多光谱 Sentinel-1/2 图像数据集，为深度学习与数据融合提供支持

    利用 Copernicus 计划（ESA）的 Sentinel 卫星和 Google Earth Engine 的云计算设施，我们提供一个包括 180,662 个样本的数据集，该数据集由双极化合成孔径雷达（SAR）图像，多光谱 Sentinel-2 图像和 MODIS 地表覆盖映射的三元组组成，拥有 10 m 的地面采样距离，并覆盖所有有人居住的大陆和所有气象季节。期望该数据支持社区开发面向场景分类或地表映射的语义分割等常见任务的深度学习算法。

    Jun, 2019

  • SpaceNet 6：多传感器全天候制图数据集

    本文提出了一个开放的多模式全天候映射数据集和挑战，包括光学和 SAR 数据，以及建筑物足迹标注，用于探索 SAR 数据在灾害响应和建筑物足迹提取方面的应用效果，发现使用光学预处理的 SAR 数据在建筑物足迹提取中取得了更好的效果。

    Apr, 2020

  • 光学 - SAR 图像匹配的多源、多分辨率和多场景数据集 3MOS

    通过引入一个大规模的多源、多分辨率和多场景光学 - SAR 图像匹配数据集 (3MOS)，我们鼓励设计更通用的多模态图像匹配方法，该数据集包含 155K 光学 - SAR 图像对，包括来自六颗商业卫星的 SAR 数据，分辨率从 1.25m 到 12.5m，并且已经根据城市、农村、平原、山区、水域、沙漠和冻土等八种场景进行了分类。大量实验证明，目前的先进方法在不同来源、分辨率和场景中都无法始终达到卓越的性能。此外，数据的分布对于深度学习模型的匹配能力有重要影响，这提出了光学 - SAR 图像匹配中的领域自适应挑战。我们的数据和代码将在此 https URL 上提供。

    Apr, 2024

  • Multimodal SAR 到 EO 图像转换的 MultiEarth 2023 挑战中的第一名解决方案

    本文介绍了一个旨在通过利用广泛时间内收集的遥感数据，对地球生态健康进行监测和分析的跨模态学习多个任务的工作坊，并提出了清洁收集器算法，以清除可能妨碍数据学习过程的因素，并对图像进行增强，最终在 SAR-to-EO 任务中实现了较好的表现。

    Jun, 2023

  • 利用光学雷达跨波段少样本迁移学习进行土地利用预测

    该研究探索了使用深度学习方法和分布对齐的神经网络嵌入可以提高卫星影像分析的准确性，尤其是在少量样本预测中，显著地超越了多种基线方法，其关键词有卫星图像分析，深度学习，迁移学习，Sentinel 和地区气候分区。

    Dec, 2022

  • MMEarth: 多模态预测任务研究地理空间表示学习

    利用未标记的地球观测数据创建多模态预训练数据集，通过多模态预训练任务，提出了改进的 ConvNeXt V2 架构的 Multi-Pretext Masked Autoencoder (MP-MAE) 方法，证明多模态预训练可以显著提高图像分类和语义分割的性能，以及标签和参数的效率。

    May, 2024

  • 用于 Landsat 图像的数据集和基础模型 SSL4EO-L

    本文介绍了 SSL4EO-L 数据集的设计，使用该数据集现代化并重新发布了 L7 Irish 和 L8 Biome 云检测数据集，并推出了 Landsats 4-5 TM 和 Landsat7 ETM+ SR 的 ML 基准数据集，使用 SSL4EO-L 预训练了 Landsat 影像的基础模型，并在多个语义分割任务上评估了它们的性能。

    Jun, 2023

  • 部分失效光学模态的多时相城市制图的多模态深度学习

    该研究提出了一种基于多模态卫星数据的新型多时相城市制图方法，其中考虑到了部分缺失的光学模态，所提出的模型采用了两个网络来分别提取每个模态的特征，并利用重建网络根据 SAR 数据近似光学特征并保持其数据的有效性。结果表明该方法在使用 SAR 数据以补充缺失光学数据方面的实用性较强，可有效开发和利用多模态数据。

    Jun, 2023

  • OmniSat：地球观测自监督模态融合

    利用地球观测数据的多模态性质，提出了一种无监督多模态学习方法 OmniSat，可用于改进森林学、土地覆盖分类和农作物映射等任务，并在半监督和全监督设置下获得更好的性能。

    Apr, 2024