本文提出了一个开放的多模式全天候映射数据集和挑战，包括光学和SAR数据，以及建筑物足迹标注，用于探索SAR数据在灾害响应和建筑物足迹提取方面的应用效果，发现使用光学预处理的SAR数据在建筑物足迹提取中取得了更好的效果。

Apr, 2020

本文提出了一种适应性实时多模态回归和生成框架来解决卫星数据稀疏性的挑战，并在 CVPR 2022 的 MultiEarth 矩阵完备性挑战中取得了优异的性能，其中包括 LPIPS 为 0.2226，PSNR 为 123.0372 和 SSIM 为 0.6347。

Jun, 2022

该篇论文提出了SAR2EO框架，使用粗到细的生成器、多尺度判别器和改进的对抗性损失生成高质量的EO图像，并引入降噪模块来去除SAR图像的噪声。证实了该框架在MAVIC数据集上效果显著，赢得了CVPR PBVS 2023的第一名。

Apr, 2023

本文介绍了 MultiEarth 2023 国际会议的挑战指南、数据集和评估指标，以促进多模态学习与遥感数据处理等技术在环境监测中的应用

Jun, 2023

使用CLIP/ViT模型在占总陆地面积约10%的五个区域内，利用卫星图像的三种不同模态对其进行预训练，通过嵌入向量和经典机器学习方法，在植被、建筑表面、农田和常水的地球观测相关任务中，仅需少量标记数据即可达到与完整标记数据相当的性能水平，并且该模型对缺失的数据模态和通道具备容错性。

Sep, 2023

CROMA是一个结合对比学习和重构自监督目标的框架，用于学习丰富的单模态和多模态表示；该方法通过分别编码遮蔽的多光谱光学和合成孔径雷达样本，并进行跨模态对比学习，然后将这些传感器融合到一起，生成用于预测遮蔽补丁的联合多模态编码，从而提高了表示，并使模型能够有效地对测试时尺寸达到17.6倍更大的图像进行外推。CROMA在遥感应用中的多个基准测试中表现优于当前的多光谱模型。

Nov, 2023

通过引入一个大规模的多源、多分辨率和多场景光学-SAR图像匹配数据集(3MOS)，我们鼓励设计更通用的多模态图像匹配方法，该数据集包含155K光学-SAR图像对，包括来自六颗商业卫星的SAR数据，分辨率从1.25m到12.5m，并且已经根据城市、农村、平原、山区、水域、沙漠和冻土等八种场景进行了分类。大量实验证明，目前的先进方法在不同来源、分辨率和场景中都无法始终达到卓越的性能。此外，数据的分布对于深度学习模型的匹配能力有重要影响，这提出了光学-SAR图像匹配中的领域自适应挑战。我们的数据和代码将在此 https URL 上提供。

Apr, 2024

利用自监督预训练技术在大规模卫星数据上取得了重要进展，同时发现在地表覆盖地表利用产品等自由全球语义信息资源和自然世界的视觉基础模型等重要资源的应用能显著提高地球观测预训练的效率和效果。

May, 2024

卫星遥感技术革命性地改变了我们在迅速发展的世界中解决全球挑战的方式。每天都会通过卫星传感器产生大量的地球观测（EO）数据，但是将这些大规模数据集进行处理以供机器学习流程使用在技术和计算方面具有挑战性。尤其是不同类型的EO数据通常托管在各种平台上，在Python预处理工具的可用性方面存在差异。此外，数据源和数据分割的空间对齐可能对初学者用户构成重大技术障碍。我们引入了M3LEO，这是一个多模态、多标签的EO数据集，包括了来自Sentinel-1的极化、干涉和相干SAR数据，以及Sentinel-2的RGB图像和一套用于模型评估的标签任务。M3LEO跨越17.5TB，其中包含了来自六个地理区域的约1000万数据片段。该数据集由灵活的PyTorch Lightning框架支持，并使用Hydra进行配置管理。我们提供了一些工具，以便将任何在流行平台（如Google Earth Engine）上可用的数据集与我们的框架整合。初步实验验证了我们的数据和框架的实用性，显示出SAR图像包含了从RGB数据中无法提取的信息。数据可在huggingface.co/M3LEO获得，代码可在github.com/spaceml-org/M3LEO获取。

Jun, 2024

本研究针对全球多模态遥感数据中缺乏合成孔径雷达（SAR）数据的问题，通过引入Dynamic World+数据集，实现了光谱与SAR数据的有效结合。提出的SpecSAR-Former网络采用了双模增强模块和互模聚合模块，显著提升了土地利用和覆盖的语义分割性能，实验证明其在模型参数少的情况下优于现有模型，具有重要的应用潜力。

Oct, 2024