May, 2024

多标签引导的软对比学习用于高效地球观测预训练

PDF
TL;DR利用自监督预训练技术在大规模卫星数据上取得了重要进展，同时发现在地表覆盖地表利用产品等自由全球语义信息资源和自然世界的视觉基础模型等重要资源的应用能显著提高地球观测预训练的效率和效果。
self-supervised pretrainingsatellite dataearth observationland-cover-land-use productscontrastive learning
发现论文，激发创造
  • MMEarth: 多模态预测任务研究地理空间表示学习

    利用未标记的地球观测数据创建多模态预训练数据集，通过多模态预训练任务，提出了改进的 ConvNeXt V2 架构的 Multi-Pretext Masked Autoencoder (MP-MAE) 方法，证明多模态预训练可以显著提高图像分类和语义分割的性能，以及标签和参数的效率。

    May, 2024

  • 一种基于高程数据的对比方法，用于稀缺和高级语义标签的遥感分类

    该研究提出一种混合无监督 / 监督学习方法，结合反差预训练模型和预测粗略海拔图像的预文本任务，以处理只有少量标签的地球观测下游任务，并评估其在分割和图像分类任务中的实验结果。

    Apr, 2023

  • SSL4EO-S12: 大规模多模态、多时相的自监督学习地球观测数据集

    使用自监督学习的方式对遥感数据进行预处理，能够形成高质量的可用于计算机视觉应用的表示。

    Nov, 2022

  • 利用光学雷达跨波段少样本迁移学习进行土地利用预测

    该研究探索了使用深度学习方法和分布对齐的神经网络嵌入可以提高卫星影像分析的准确性，尤其是在少量样本预测中，显著地超越了多种基线方法，其关键词有卫星图像分析，深度学习，迁移学习，Sentinel 和地区气候分区。

    Dec, 2022

  • 地球观测任务的全球多模态嵌入式少样本学习

    使用 CLIP/ViT 模型在占总陆地面积约 10% 的五个区域内，利用卫星图像的三种不同模态对其进行预训练，通过嵌入向量和经典机器学习方法，在植被、建筑表面、农田和常水的地球观测相关任务中，仅需少量标记数据即可达到与完整标记数据相当的性能水平，并且该模型对缺失的数据模态和通道具备容错性。

    Sep, 2023

  • 重新思考用于多光谱卫星图像的 Transformer 预训练

    SatMAE++ 是一种多尺度的远程感知图像预训练方法，通过利用多模态数据和卷积上采样块在不同尺度上重构图像，达到了光学和多光谱遥感数据的同等有效性，并在大规模数据集上实现了最先进性能。

    Mar, 2024

  • 遥感卫星图像的领域适应自监督表示学习

    本研究提出了一种新颖的域自适应范式，利用遥感卫星数据来研究对比自监督表示学习和知识转移。通过在源数据集上进行自监督对比学习的预训练，并以循环交替的方式在目标数据集上进行下游任务，该方法实现了自监督知识转移，达到了最先进的性能和可解释的表示学习。

    Apr, 2023

  • OmniSat：地球观测自监督模态融合

    利用地球观测数据的多模态性质，提出了一种无监督多模态学习方法 OmniSat，可用于改进森林学、土地覆盖分类和农作物映射等任务，并在半监督和全监督设置下获得更好的性能。

    Apr, 2024

  • 多源卫星 SAR 和光学图像在森林制图中的深度学习模型转移

    使用深度学习模型进行森林变量预测具有越来越大的流行度，本研究通过模型转换方法将预训练的深度学习模型应用于目标区域，使用地球观测数据进行森林结构预测，结果表明相较于传统基准方法，利用迁移学习的 SeUNet 模型具有更高的准确性。

    Aug, 2023

  • CroCo: 跨模态对比学习用于地球观测数据定位

    本研究提出了一种对地基 LiDAR 点云进行本地化的方法，可以将由航空 LiDAR 点云生成的数字高程模型（DEM）映射到航拍图像上。该方法基于对比学习，使用 DEM 和高分辨率光学图像进行训练，并通过不同的数据采样策略和超参数进行实验。在最佳情况下，Top-1 得分为 0.71，Top-5 得分为 0.81。该方法具有从 RGB 和 DEM 中进行特征学习以便进行本地化的潜力，并可能适用于其他数据源。

    Apr, 2022