Mar, 2024

MTP: 通过多任务预训练推进遥感基础模型

PDF
TL;DR本研究基于共享编码器和任务特定解码器架构，对遥感基础模型进行多任务监督预训练，包括语义分割、实例分割和旋转目标检测。随后在不同的遥感下游任务上对预训练模型进行微调，并通过 14 个数据集的广泛实验验证了我们模型相对于同样规模的现有模型的优越性以及与更大型的最先进模型的竞争性表现，从而验证了多任务预训练的有效性。
remote sensingpretrainingmulti-task pretrainingrs foundation modelsdownstream tasks
发现论文，激发创造
  • 重新思考用于多光谱卫星图像的 Transformer 预训练

    SatMAE++ 是一种多尺度的远程感知图像预训练方法，通过利用多模态数据和卷积上采样块在不同尺度上重构图像，达到了光学和多光谱遥感数据的同等有效性，并在大规模数据集上实现了最先进性能。

    Mar, 2024

  • 遥感图像亿级基础模型

    本文研究了模型参数数量增加对远程遥感领域中基础模型在旋转物体检测和语义分割等下游任务性能的影响，并通过实验验证了模型参数数量的增加可以提升模型性能和数据效率，进而提出了一种有效的基于视觉变换器进行扩展和微调的远程遥感领域的方法。

    Apr, 2023

  • 克服生物医学影像数据稀缺问题的基础多任务模型

    提出了一种多任务学习策略，使用 bioMedical PreTrained 模型（UMedPT）在包括断层、显微和 X 光图像的多任务数据库上进行训练，其在预训练数据库相关任务上具有卓越性能，且对于领域外任务仅需少量训练数据便可保持优越性能，对于跨中心可转移性，UMedPT 提取的影像特征成为新的标准。

    Nov, 2023

  • M3P：通过多任务、多语言、多模态的预训练学习通用表示

    M3P 是一个多任务多语言多模态预训练模型，通过多任务预训练将多语言预训练和多模态预训练结合到一个统一的框架中。该模型的目标是学习通用表示法，可以将出现在不同模态或不同语言中的对象映射到一个公共的语义空间。此外，该论文还提出了 Multimodal Code-switched Training（MCT）的训练策略，该策略通过代码切换将单语预训练和多模态预训练相结合，以明确地鼓励图像和非英语语言之间的细粒度对齐。在跨两个基准数据集的多语言图像检索任务上进行了实验，包括 MSCOCO 和 Multi30K。M3P 在英语上可以获得可比较的结果，在非英语语言上则获得了最新的最佳结果。

    Jun, 2020

  • 基于基础模型的高效任务驱动模型重编程

    该论文提出了一种基于任务的模型重新编程框架，可用于模型之间的知识跨越传递，从而便于在 Downstream 任务中使用视觉基础模型，实现向下游任务的低成本迁移。该方法适用于不同类型的预训练模型（CNN、Transformer 或其混合），并证明了在不同的下游分类任务和目标模型结构上的有效性。

    Apr, 2023

  • 遥感图像通用知识增强的预训练

    提出了一种新颖的遥感预训练框架 GeRSP，用于从遥感和自然图像中学习强大的表示，并在改进遥感下游任务的性能上取得了一致的实验结果。

    Jan, 2024

  • 启发式视觉预训练的自监督和有监督多任务学习

    提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

    Oct, 2023

  • 预训练的 Transformer 金字塔网络

    本研究提出了一种基于屏蔽图像建模的完整预训练框架，统一复现与识别阶段，并通过深入的技术贡献，在图片分类、物体检测和语义分割方面实现了新的最佳结果。

    Nov, 2022

  • 远程感应时间序列的轻量级预训练 Transformers

    本文介绍了利用自主学习技术处理遥感数据的方法，并提出了一种基于 transformer 的模型 Pretrained Remote Sensing Transformer (Presto)，该模型在遥感数据分析和处理中具有较高的性能和效率。

    Apr, 2023

  • MVP：用于少样本遥感图像场景分类的元视觉提示调整

    Vision Transformer 模型在各种视觉任务中表现出强大和多功能性；本文提出了 Meta Visual Prompt Tuning (MVP) 方法，结合 parameter-efficient tuning 方法并应用于 remote sensing 领域，提高 Few-Shot Remote Sensing Scene Classification (FS-RSSC) 任务的性能。

    Sep, 2023