使用自监督学习的方式对遥感数据进行预处理，能够形成高质量的可用于计算机视觉应用的表示。

Nov, 2022

利用未标记的地球观测数据创建多模态预训练数据集，通过多模态预训练任务，提出了改进的 ConvNeXt V2 架构的 Multi-Pretext Masked Autoencoder (MP-MAE) 方法，证明多模态预训练可以显著提高图像分类和语义分割的性能，以及标签和参数的效率。

May, 2024

利用自监督预训练技术在大规模卫星数据上取得了重要进展，同时发现在地表覆盖地表利用产品等自由全球语义信息资源和自然世界的视觉基础模型等重要资源的应用能显著提高地球观测预训练的效率和效果。

May, 2024

使用 CLIP/ViT 模型在占总陆地面积约 10% 的五个区域内，利用卫星图像的三种不同模态对其进行预训练，通过嵌入向量和经典机器学习方法，在植被、建筑表面、农田和常水的地球观测相关任务中，仅需少量标记数据即可达到与完整标记数据相当的性能水平，并且该模型对缺失的数据模态和通道具备容错性。

Sep, 2023

本文提出了一种适应性实时多模态回归和生成框架来解决卫星数据稀疏性的挑战，并在 CVPR 2022 的 MultiEarth 矩阵完备性挑战中取得了优异的性能，其中包括 LPIPS 为 0.2226，PSNR 为 123.0372 和 SSIM 为 0.6347。

Jun, 2022

该研究提出了一种基于多模态卫星数据的新型多时相城市制图方法，其中考虑到了部分缺失的光学模态，所提出的模型采用了两个网络来分别提取每个模态的特征，并利用重建网络根据 SAR 数据近似光学特征并保持其数据的有效性。结果表明该方法在使用 SAR 数据以补充缺失光学数据方面的实用性较强，可有效开发和利用多模态数据。

Jun, 2023

利用卫星集群上的半监督学习，以温度和有限的电源预算为基础，对神经网络进行基准测试，我们展示了在最新卫星硬件上进行机器学习模型的训练，以节省通信和操作成本，同时评估了采用分散和联邦学习方法的任务场景，并在一天的任务时间内，实现了高精度（欧洲卫星 RGB 数据集约为 91％）的收敛。

May, 2023

本文探讨在地球观测图像语义标注中使用 OpenStreetMap 数据的潜力。作者在 ISPRS Potsdam 和 DFC2017 两个公共数据集上使用不同的架构并进行了实验，结果发现使用 OpenStreetMap 数据能够显著提高模型的精度和收敛速度，尤其是使用融合的架构和分层的细分。

May, 2017

卫星遥感技术革命性地改变了我们在迅速发展的世界中解决全球挑战的方式。每天都会通过卫星传感器产生大量的地球观测（EO）数据，但是将这些大规模数据集进行处理以供机器学习流程使用在技术和计算方面具有挑战性。尤其是不同类型的 EO 数据通常托管在各种平台上，在 Python 预处理工具的可用性方面存在差异。此外，数据源和数据分割的空间对齐可能对初学者用户构成重大技术障碍。我们引入了 M3LEO，这是一个多模态、多标签的 EO 数据集，包括了来自 Sentinel-1 的极化、干涉和相干 SAR 数据，以及 Sentinel-2 的 RGB 图像和一套用于模型评估的标签任务。M3LEO 跨越 17.5TB，其中包含了来自六个地理区域的约 1000 万数据片段。该数据集由灵活的 PyTorch Lightning 框架支持，并使用 Hydra 进行配置管理。我们提供了一些工具，以便将任何在流行平台（如 Google Earth Engine）上可用的数据集与我们的框架整合。初步实验验证了我们的数据和框架的实用性，显示出 SAR 图像包含了从 RGB 数据中无法提取的信息。数据可在 huggingface.co/M3LEO 获得，代码可在 github.com/spaceml-org/M3LEO 获取。

Jun, 2024

FedFusion 是一种基于流形的多模态融合框架，通过联合估计每个客户端的浅层特征的显著流形结构，并通过级联和加法方法将特征矩阵压缩为低秩子空间，作为后续分类器的特征输入，从而解决多卫星、多模态数据的联合融合问题。该框架在三个多模态数据集上的性能表现超过现有方法，达到 94.35% 的分类平均准确率，同时将通信成本压缩了 4 倍，并在基于 Jetson TX2 工业模块的轨道边缘计算架构上进行了广泛的真实卫星图像的数值评估，结果显示 FedFusion 将训练时间缩短了 48.4 分钟（15.18%），同时优化了准确性。

Nov, 2023