Jul, 2022

SatMAE: 为时间序列和多光谱卫星图像预训练 Transformers

PDF
TL;DR通过使用遮蔽自动编码器（MAE）的卫星图像的预训练框架 SatMAE，我们结合时间嵌入和分组打包多光谱数据以提高预训练能力，进一步提高基准数据集上的监督学习性能（最高可达 7%），并在后续的遥感分类任务中表现出强大的转移学习能力（最高可达 14%）。
unsupervised pre-trainingsatellite imagerymasked autoencodertemporal embeddingmulti-spectral data
发现论文，激发创造
  • 重新思考用于多光谱卫星图像的 Transformer 预训练

    SatMAE++ 是一种多尺度的远程感知图像预训练方法，通过利用多模态数据和卷积上采样块在不同尺度上重构图像，达到了光学和多光谱遥感数据的同等有效性，并在大规模数据集上实现了最先进性能。

    Mar, 2024

  • A$^{2}$-MAE：一种基于锚点感知屏蔽自编码器的空时谱统一遥感预训练方法

    利用遥感数据构建了一个空间 - 时间 - 光谱结构化数据集（STSSD），并提出了一个新方法（A$^{2}$-MAE），通过预训练相互补充不同类型的遥感图像和地理信息来重构遮蔽补丁，实现了多种下游任务的全面改进。

    Jun, 2024

  • SS-MAE：用于多源遥感图像分类的空间 - 频谱屏蔽自编码器

    提出了一种空间 - 光谱掩码自编码器 (SS-MAE) 用于高光谱成像和激光雷达 / 合成孔径雷达数据的联合分类，实现了空间和光谱表示的充分利用，并通过在训练阶段添加两个轻量级卷积神经网络来补充局部特征，成功在三个公开数据集上验证了 SS-MAE 相对于其他先进基线方法的优越性。

    Nov, 2023

  • USat: 一种用于多传感器卫星图像的统一自监督编码器

    使用 USat 架构的多光谱数据的自监督预训练方法在遥感数据中优于状态 - of-the-art 的自监督 MAE 模型，并在低数据环境中带来改进。

    Dec, 2023

  • MMEarth: 多模态预测任务研究地理空间表示学习

    利用未标记的地球观测数据创建多模态预训练数据集，通过多模态预训练任务，提出了改进的 ConvNeXt V2 架构的 Multi-Pretext Masked Autoencoder (MP-MAE) 方法，证明多模态预训练可以显著提高图像分类和语义分割的性能，以及标签和参数的效率。

    May, 2024

  • Fus-MAE：一种基于交叉注意力的遥感掩码自编码器数据融合方法

    Fus-MAE is a self-supervised learning framework based on masked autoencoders that performs data fusion between synthetic aperture radar and multispectral optical data, effectively competing with contrastive learning strategies in SAR-optical data fusion.

    Jan, 2024

  • 远程感知中基于特征引导的遮罩自编码器实现自监督学习

    以受限遮蔽图像模型为指导的自主学习在遥感中预训练视觉转换器方面引起了广泛关注。在本文中，我们探讨了光谱和空间遥感图像特征作为改进的自编码器重建目标。实验结果说明了 FG-MAE 在 SAR 图像方面的特殊增强效果，同时展示了 FG-MAE 的良好可扩展性，并发布了首批用于中分辨率 SAR 和多光谱图像的预训练视觉转换器。

    Oct, 2023

  • 时空 SwinMAE：基于 Swin Transformer 的多尺度时空卫星图像表示学习器

    本研究论文介绍了一种名为 Spatio-Temporal SwinMAE 的架构，专注于时空图像处理的表示学习，提出了一种名为 Degas 100M 的预训练模型作为地理空间基础模型，并提出一种名为 Spatio-Temporal SwinUNet 的架构进行迁移学习，该方法在地表覆盖下游任务中表现出显著的性能优势。

    May, 2024

  • MTSMAE: 基于掩码的自编码器用于多元时间序列预测

    该论文提出了一种新的基于 Masked Autoencoders (MAE) 的自监督预训练方法称为 MTSMAE，利用补丁嵌入的方法处理多元时间序列，实验证明，该方法的性能显著优于目前最好的方法。

    Oct, 2022

  • MultiMAE: 多模态多任务掩蔽自编码器

    提出了一种称为 MultiMAE 的预训练策略，通过掩蔽解决了网络输入多样性和预测任务多样性的问题，从而实现可靠的跨模态与任务预测编码和转移学习。

    Apr, 2022