采用单一的 Transformer 骨干网络，将多种数据模态与不同空间分辨率结合，解决了当前基础模型在地球视觉领域的多个下游任务中的适用性问题。

Jan, 2024

本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。

Jun, 2023

利用地球观测数据的多模态性质，提出了一种无监督多模态学习方法 OmniSat，可用于改进森林学、土地覆盖分类和农作物映射等任务，并在半监督和全监督设置下获得更好的性能。

Apr, 2024

基于深度学习的 Prithvi 地球观测模型通过高效前期训练和微调，成功实现地球观测领域多个任务的优化，证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用，并表明可显著减少可用标注数据的数量而不影响模型准确性。

Oct, 2023

本研究介绍了 PhilEO Bench，这是一个用于评估遥感基础模型的创新评估框架，其中包括一个测试平台和一个包含建筑密度估计、道路分割和土地覆盖分类三个下游任务的 400GB Sentinel-2 数据集。通过使用该框架对 Prithvi 和 SatMAE 等不同基础模型进行多个 n-shot 和收敛率的实验评估。

Jan, 2024

EarthPT 是一个地球观测预训练的变压器模型，通过自回归自监督方式训练了一个 7 亿参数、针对地球观测应用场景的模型。我们展示了 EarthPT 是一个有效的预测器，可以准确预测未来的像素级表面反射率在 400-2300nm 范围内变化。此外，通过 EarthPT 学习的嵌入具有语义上有意义的信息，可用于下游任务，如高精度、动态的土地利用分类。

Sep, 2023

本文提出了一种适应性实时多模态回归和生成框架来解决卫星数据稀疏性的挑战，并在 CVPR 2022 的 MultiEarth 矩阵完备性挑战中取得了优异的性能，其中包括 LPIPS 为 0.2226，PSNR 为 123.0372 和 SSIM 为 0.6347。

Jun, 2022

通过在多个地理空间子领域进行测试，发现在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但是在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此，通过处理不同的地理数据模态，建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。

Apr, 2023

基于跨维度输入的一种有效的基于 Transformer 的网络用于改变检测，通过交叉关注学习了跨维度输入之间的共享表示，采用一致性约束建立了多模态关系，并通过高度改变阈值和最小化语义与伪改变之间的不同来解决语义和高度改变检测任务之间的多任务冲突。该模型在荷兰的三个城市构建了包含 DSM 到影像的多模态数据集，相对于其他五种先进的改变检测方法，表现出了一致的多任务优势，同时该一致性策略也可以无缝地适用于其他方法，取得了可喜的改进。

Oct, 2023

通过利用海量数据学习通用表示方法，基础深度学习模型正在革命性地改变科学的许多方面。本研究介绍了 Aurora，一个基于大量多样化天气和气候数据训练的大规模大气基础模型。Aurora 能够在不到一分钟内生成 5 天的全球空气污染预测和 10 天的高分辨率天气预报，其性能超过了最先进的传统仿真工具和最佳专门深度学习模型。这些结果表明，基础模型可以改变环境预测。

May, 2024