Oct, 2024

OReole-FM：面向高分辨率卫星图像的亿参数基础模型的成功与挑战

HTML
PDF
TL;DR本研究旨在解决基础模型在遥感图像预训练中的参数数量限制，提出了一种结合高性能计算资源和高分辨率光学遥感数据的新方法。研究显示，通过数据扩展和合适的模型初始化，可以显著提升模型在图像分类、语义分割和物体检测等任务中的表现，提供了重要的实践指南以支持地理空间社区的未来研究。
发现论文，激发创造
  • 遥感图像亿级基础模型

    本文研究了模型参数数量增加对远程遥感领域中基础模型在旋转物体检测和语义分割等下游任务性能的影响，并通过实验验证了模型参数数量的增加可以提升模型性能和数据效率，进而提出了一种有效的基于视觉变换器进行扩展和微调的远程遥感领域的方法。

    Apr, 2023

  • 通用地理空间人工智能的基础模型

    基于深度学习的Prithvi地球观测模型通过高效前期训练和微调，成功实现地球观测领域多个任务的优化，证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用，并表明可显著减少可用标注数据的数量而不影响模型准确性。

    Oct, 2023

  • SkySense: 一种面向地球观测影像的多模态远程感知基础模型

    SkySense是目前最大的多模态遥感基础模型，通过多种模态的时空序列输入，采用Multi-Granularity Contrastive Learning和Geo-Context Prototype Learning进行预训练学习，能灵活结合或单独使用其模块以适应各种任务，并在16个数据集上的7个任务中表现出了卓越的泛化能力，超过了18个最新的遥感基础模型。

    Dec, 2023

  • MTP: 通过多任务预训练推进遥感基础模型

    本研究基于共享编码器和任务特定解码器架构，对遥感基础模型进行多任务监督预训练，包括语义分割、实例分割和旋转目标检测。随后在不同的遥感下游任务上对预训练模型进行微调，并通过14个数据集的广泛实验验证了我们模型相对于同样规模的现有模型的优越性以及与更大型的最先进模型的竞争性表现，从而验证了多任务预训练的有效性。

    Mar, 2024

  • 在前沿上预训练十亿级地理空间基础模型

    在预训练基于互联网规模无标签数据的基础模型(Foundation Models，FMs)中，研究增至十亿级参数规模的FMs和高性能计算(HPC)训练，以应用于地理空间图像应用中，取得了较小规模模型的显著准确率提升。

    Apr, 2024

  • 基础模型的有效时机：利用多光谱图像进行像素级分类的适用性研究

    基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性，而传统机器学习模型在某些场景下表现得更好，尤其是在纹理不适用于分类的任务中。

    Apr, 2024

  • FMARS：使用基础模型为灾害管理注释遥感图像

    介绍了FMARS（Foundation Model Annotations in Remote Sensing）的方法，利用Very-High Resolution（VHR）遥感图像和基础模型进行快速和鲁棒的标注，重点关注灾害管理，并提供了一个大规模数据集，用于训练分割模型和提高转移能力。

    May, 2024

  • 遥感中的人工智能基础模型：一项综述

    本研究针对遥感领域中人工智能基础模型的应用进行了全面综述，填补了现有文献在2021年6月至2024年6月之间发布的模型分析中的空白。论文提出了新的见解，特别强调自监督学习等预训练方法对提升模型性能和稳健性的关键作用，以及为遥感任务（如场景分类和目标检测）带来的显著进展和未来研究方向。

    Aug, 2024

  • 遥感与地球观测的基础模型：综述

    本研究探讨了遥感领域面临的重要挑战，特别是在复杂的地球环境和多样的传感器模态下的发展需求。文章提出了遥感基础模型（RSFM）的概念，并系统地回顾了现有的研究，评估了这些模型的性能及其对地球观测任务的潜在影响，为未来研究方向提供了指导。

    Oct, 2024

  • 专门的基础模型难以超越监督基线

    本研究探讨了专门领域中基础模型的效能，指出这些模型在基因组学、卫星成像和时间序列等领域未能超越传统监督学习。研究者发现，即便是简单的监督模型也能达到或超越最新的基础模型，强调在新模型发布时需与强大的、经过良好调优的基线进行比较，并提出了两种新的开源自动化工作流程。

    Nov, 2024