Mar, 2024

MTP: 通过多任务预训练推进遥感基础模型

HTML
PDF
TL;DR本研究基于共享编码器和任务特定解码器架构，对遥感基础模型进行多任务监督预训练，包括语义分割、实例分割和旋转目标检测。随后在不同的遥感下游任务上对预训练模型进行微调，并通过14个数据集的广泛实验验证了我们模型相对于同样规模的现有模型的优越性以及与更大型的最先进模型的竞争性表现，从而验证了多任务预训练的有效性。
发现论文，激发创造
  • 遥感深度学习综述：理论、工具和社区面临的挑战

    本文综述了目前最新的遥感深度学习研究进展及理论、工具和挑战，并着重讨论深度学习系统的未解决的挑战和机遇，包括数据不足、模拟物理现象的人类可理解解决方案、大数据、非传统异构数据源、光谱、空间和时间数据的深度学习架构和学习算法、迁移学习、更好的理论理解深度学习系统、高门槛和深度学习的训练和优化。

    Sep, 2017

  • 遥感图像亿级基础模型

    本文研究了模型参数数量增加对远程遥感领域中基础模型在旋转物体检测和语义分割等下游任务性能的影响，并通过实验验证了模型参数数量的增加可以提升模型性能和数据效率，进而提出了一种有效的基于视觉变换器进行扩展和微调的远程遥感领域的方法。

    Apr, 2023

  • 重新审视预训练遥感模型基准测试：调整大小和标准化很重要

    本研究发现，将预训练图像的预处理过程直接应用于卫星和航空图像数据集中可以显著提高下游任务的性能；特别是通过这种方式，ImageNet预训练模型成为卫星图像转移学习任务的一个有竞争力的基准。

    May, 2023

  • RS5M：一种用于遥感视觉语言的大规模数据集和基础模型

    本文提出了一种新的框架，包括领域基础模型（DFM），该模型缩小了通用基础模型（GFM）和特定领域下游任务之间的差距，并通过预训练的VLM将筛选后的遥感图像与英文描述进行配对，构成了第一个大规模遥感图像-文本匹配数据集。在该数据集上的实验结果表明，使用上述数据集和提出的DFM方法的零样本分类和视觉语言检索任务的性能都较好，并且RS Stable Diffusion模型的训练也取得了成功的结果。

    Jun, 2023

  • 基于视觉基础模型的遥感实例分割提示学习

    本文提出了一种基于 SAM 模型和 Prompt 学习的自动遥感图像实例分割方法（RSPrompter），并将其与其他常用的方法进行比较，结果证明该方法有效。

    Jun, 2023

  • SkySense: 一种面向地球观测影像的多模态远程感知基础模型

    SkySense是目前最大的多模态遥感基础模型，通过多种模态的时空序列输入，采用Multi-Granularity Contrastive Learning和Geo-Context Prototype Learning进行预训练学习，能灵活结合或单独使用其模块以适应各种任务，并在16个数据集上的7个任务中表现出了卓越的泛化能力，超过了18个最新的遥感基础模型。

    Dec, 2023

  • 遥感图像通用知识增强的预训练

    提出了一种新颖的遥感预训练框架GeRSP，用于从遥感和自然图像中学习强大的表示，并在改进遥感下游任务的性能上取得了一致的实验结果。

    Jan, 2024

  • 具有噪声标签的遥感图像分割的任务特定预训练

    提出了利用噪声标签进行遥感图像分割任务特定预训练的方法，并研究其对饱和模型的影响和鲁棒性。实验证明了该方法在提高预训练策略准确性和多样性方面的潜力。

    Feb, 2024

  • 基于SAM先验的多视角遥感图像分割

    通过将可视化基础模型Segment Anything（SAM）注入到隐式神经场模型-INF中，我们提出了一种新的多视图遥感图像分割方法，通过对测试视图和训练视图之间的SAM特征进行对比，得出每个测试视图的伪标签，从而增强整个场景的标注信息，实验证明我们的方法在有限的训练数据情况下优于主流方法，从而证实了SAM作为INF的一种补充在这一任务中的有效性。

    May, 2024

  • 遥感中的人工智能基础模型：一项综述

    本研究针对遥感领域中人工智能基础模型的应用进行了全面综述，填补了现有文献在2021年6月至2024年6月之间发布的模型分析中的空白。论文提出了新的见解，特别强调自监督学习等预训练方法对提升模型性能和稳健性的关键作用，以及为遥感任务（如场景分类和目标检测）带来的显著进展和未来研究方向。

    Aug, 2024