利用未标记的地球观测数据创建多模态预训练数据集，通过多模态预训练任务，提出了改进的 ConvNeXt V2 架构的 Multi-Pretext Masked Autoencoder (MP-MAE) 方法，证明多模态预训练可以显著提高图像分类和语义分割的性能，以及标签和参数的效率。

May, 2024

利用自监督预训练技术在大规模卫星数据上取得了重要进展，同时发现在地表覆盖地表利用产品等自由全球语义信息资源和自然世界的视觉基础模型等重要资源的应用能显著提高地球观测预训练的效率和效果。

May, 2024

Satellite Contrastive Location-Image Pretraining (SatCLIP) is a global geographic location encoder that provides vector embeddings summarizing location characteristics, outperforming existing pretrained encoders in various predictive tasks, and enabling meaningful representations of our planet from geospatial data.

Nov, 2023

我们的研究主要关注声音景观映射的任务，利用先进的模型对地理位置的语音、语音的文本描述以及其拍摄地的航拍图像进行编码，构建了三种模态的共享嵌入空间，从而可以根据文本或音频查询构建任何地理区域的声音景观地图。在 SoundingEarth 数据集上，我们的方法明显优于现有最先进方法，在图像到音频的召回率改善了从 0.256 提高到 0.450。我们的代码可在此链接中找到。

Sep, 2023

该研究探索了使用深度学习方法和分布对齐的神经网络嵌入可以提高卫星影像分析的准确性，尤其是在少量样本预测中，显著地超越了多种基线方法，其关键词有卫星图像分析，深度学习，迁移学习，Sentinel 和地区气候分区。

Dec, 2022

本文旨在使用仅有少量示例来进行卫星图像中的目标检测，从而使用户能够使用最少的注释来指定任何目标类。我们探讨了来自开放词汇检测和遥感领域的最新方法和思路。我们基于传统的两阶段架构开发了一个少样本目标检测器，其中分类块被基于原型的分类器替代。我们使用大规模预训练模型构建类参考嵌入或原型，并与区域建议内容进行标签预测。另外，我们提出在可用的训练图像上微调原型，以提高性能并学习类似类别之间的差异，例如飞机类型。我们对包含具有挑战性和罕见对象的两个遥感数据集进行了广泛评估。此外，我们研究了视觉和图像文本特征的性能，即 DINOv2 和 CLIP，包括专门针对遥感应用的两个 CLIP 模型。结果表明，视觉特征在很大程度上优于视觉语言模型，因为后者缺乏必要的领域特定词汇。最后，尽管训练参数很少，但开发的检测器在 SIMD 和 DIOR 数据集上表现出优于全监督和少样本方法的性能。

Mar, 2024

我们提出了一种基于视觉 - 语言表示学习的元数据协作多模态分割网络（MetaSegNet），该网络用于遥感图像的语义分割，并展示了卓越的泛化性能和与现有方法相竞争的准确性。

Dec, 2023

远程感知中，我们关注的是对一些地理位置建模的各种方式。我们提出了一种名为 GeoBind 的深度学习模型，可以从地理位置的卫星图像中推断出文本、图像和音频等多个模态。我们的方法不需要包含所有上述模态的单个复杂数据集，而只需要多个卫星图像配对数据。与传统的单模态模型不同，我们的结果表明，GeoBind 是多功能的，并且能够针对给定的卫星图像输入推理出多个模态。

Apr, 2024

利用地球观测数据的多模态性质，提出了一种无监督多模态学习方法 OmniSat，可用于改进森林学、土地覆盖分类和农作物映射等任务，并在半监督和全监督设置下获得更好的性能。

Apr, 2024

RemoteCLIP 是第一个用于遥感领域的视觉 - 语言基础模型，利用数据扩充和转换方法进行预训练，可用于零样本分类、图像文本检索和物体计数等任务，并在 16 个数据集上均优于基线模型。

Jun, 2023