Apr, 2023

远程感应时间序列的轻量级预训练 Transformers

PDF
TL;DR本文介绍了利用自主学习技术处理遥感数据的方法，并提出了一种基于 transformer 的模型 Pretrained Remote Sensing Transformer (Presto)，该模型在遥感数据分析和处理中具有较高的性能和效率。
machine learningremote sensingself-supervised learningpretrained remote sensing transformertransfer learning
发现论文，激发创造
  • 季节对比：来自未经筛选的遥感数据的无监督预训练

    提出了 Seasonal Contrast (SeCo) 管道来利用未标记数据进行领域内预训练遥感表示，并展示了使用该管道训练的模型在多个下游任务中实现了比 ImageNet 预训练模型和最先进的自监督学习方法更好的性能。

    Mar, 2021

  • 遥感图像通用知识增强的预训练

    提出了一种新颖的遥感预训练框架 GeRSP，用于从遥感和自然图像中学习强大的表示，并在改进遥感下游任务的性能上取得了一致的实验结果。

    Jan, 2024

  • 基于自监督范式的有限标记样本遥感图像场景分类

    通过自监督学习机制，利用未标记的大规模遥感图像数据进行预训练，提高了远程传感器图像场景分类任务的性能，与传统的以 Imagenet 为代表的方法相比表现更佳。同时，研究了多个影响自监督学习的因素，这些研究成果对遥感领域中 SSL 技术的发展具有积极意义，有望提高大规模遥感图像处理的效率。

    Oct, 2020

  • 基于引导增强的自我监督表示学习的遥感图像理解

    利用自我监督学习从大规模、无标签数据集中学习表示已被证明对于理解各种远程感知图像非常有效。本研究提出了一种增强型自我监督表示学习方法，通过简单而高效的预训练流程，解决了对比学习中的假阳性匹配问题以及重构学习中缺失上下文信息的问题，并通过语义一致性约束提供上下文信息。实验证明该方法在土地覆盖分类、语义分割、目标检测和实例分割等多个下游任务上优于全监督学习模型和目前最先进的自我监督学习方法，表明该方法能够学习出具有高泛化性和可迁移性的远程感知表示。

    Sep, 2023

  • 一种通用的自监督学习 (SSL) 框架，用于从未标记的遥感图像的光谱 - 空间特征中进行表征学习

    本研究设计了一种新的自监督学习框架，可以从未标记数据的光谱 - 空间信息中学习表示，并通过两个典型的下游任务评估证明，所提出的 SSL 获得了模型性能的显著提高。

    Jun, 2023

  • 领域内自监督学习可提高遥感图像分类

    本文研究了自监督学习在遥感图像分类中的应用， 使用 ViT 模型和 iBOT 框架进行预训练可以提高模型预测性能。

    Jul, 2023

  • 遥感联合多模态自监督预训练：甲烷源分类应用

    本文针对当前深度学习方法在计算机视觉和遥感专业任务中应用普及的情况，讨论了解决办法。结合地理位置信息，提出利用不标注数据进行自我监督预训练，探讨了联合嵌入方法在多种遥感图像模态下的应用，最终在甲烷源分类任务上获得良好的性能。

    Jun, 2023

  • 重新思考用于多光谱卫星图像的 Transformer 预训练

    SatMAE++ 是一种多尺度的远程感知图像预训练方法，通过利用多模态数据和卷积上采样块在不同尺度上重构图像，达到了光学和多光谱遥感数据的同等有效性，并在大规模数据集上实现了最先进性能。

    Mar, 2024

  • 遥感卫星图像的领域适应自监督表示学习

    本研究提出了一种新颖的域自适应范式，利用遥感卫星数据来研究对比自监督表示学习和知识转移。通过在源数据集上进行自监督对比学习的预训练，并以循环交替的方式在目标数据集上进行下游任务，该方法实现了自监督知识转移，达到了最先进的性能和可解释的表示学习。

    Apr, 2023

  • 重新审视预训练遥感模型基准测试：调整大小和标准化很重要

    本研究发现，将预训练图像的预处理过程直接应用于卫星和航空图像数据集中可以显著提高下游任务的性能；特别是通过这种方式，ImageNet 预训练模型成为卫星图像转移学习任务的一个有竞争力的基准。

    May, 2023