Jan, 2024

跨尺度 MAE: 遥感中多尺度利用的故事

PDF
TL;DR远程感知图像理解中，该研究通过自监督学习的通用框架重新探讨了经典的多尺度表示学习问题，提出了一种基于掩码自编码器（MAE）的 Cross-Scale MAE 自监督模型，通过尺度增强技术以及对比损失和生成损失的交叉尺度一致性约束来确保一致且有意义的表示，进一步利用 xFormers 库在单个 GPU 上加速网络预训练并保持所学表示的质量，实验证明 Cross-Scale MAE 相较于标准 MAE 和其他最先进的远程感知 MAE 方法具有优越的性能。
发现论文，激发创造
  • Fus-MAE：一种基于交叉注意力的遥感掩码自编码器数据融合方法

    Fus-MAE is a self-supervised learning framework based on masked autoencoders that performs data fusion between synthetic aperture radar and multispectral optical data, effectively competing with contrastive learning strategies in SAR-optical data fusion.

    Jan, 2024

  • 遮蔽自编码器是可扩展的视觉学习器

    本文展示掩码自动编码器 (MAE) 是可扩展的自监督计算机视觉学习器，通过实现以两种核心设计为基础的 MAE 方法：一种不对遮罩令牌进行编码的编码器和一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器，并使用更高比例的保持训练图片完整性的遮罩令牌，同时能够提高训练精度和加速计算。本方法能够训练大型高容量模型，并 Transfer Learning 具有出色的性能。

    Nov, 2021

  • SRMAE：用于尺度不变深度表示的遮蔽图像建模

    基于图像尺度的自监督信号，使用超分辨率方法设计的预测头部能够重建输入图像，提高图像识别任务的准确率并捕捉尺度不变表达。

    Aug, 2023

  • SatMAE: 为时间序列和多光谱卫星图像预训练 Transformers

    通过使用遮蔽自动编码器（MAE）的卫星图像的预训练框架 SatMAE，我们结合时间嵌入和分组打包多光谱数据以提高预训练能力，进一步提高基准数据集上的监督学习性能（最高可达 7%），并在后续的遥感分类任务中表现出强大的转移学习能力（最高可达 14%）。

    Jul, 2022

  • 探索用于遥感中与传感器无关图像检索的掩模自编码器

    遥感图像的自监督学习通过掩码自编码器（MAEs）近期吸引了广泛关注，该方法在内容基准图像检索（CBIR）方面具有重要潜力。然而，现有研究假设考虑的遥感图像是由单一图像传感器获取的，因此仅适用于单模态 CBIR 问题。本文首次探讨了 MAEs 在遥感领域跨传感器 CBIR 中的有效性，并针对多传感器遥感图像库提出了掩码图像建模的不同 CSMAE 模型，通过广泛的实验分析得出了利用掩码图像建模解决单模态和跨模态 CBIR 问题的指导方针。

    Jan, 2024

  • SS-MAE：用于多源遥感图像分类的空间 - 频谱屏蔽自编码器

    提出了一种空间 - 光谱掩码自编码器 (SS-MAE) 用于高光谱成像和激光雷达 / 合成孔径雷达数据的联合分类，实现了空间和光谱表示的充分利用，并通过在训练阶段添加两个轻量级卷积神经网络来补充局部特征，成功在三个公开数据集上验证了 SS-MAE 相对于其他先进基线方法的优越性。

    Nov, 2023

  • 重新思考用于多光谱卫星图像的 Transformer 预训练

    SatMAE++ 是一种多尺度的远程感知图像预训练方法，通过利用多模态数据和卷积上采样块在不同尺度上重构图像，达到了光学和多光谱遥感数据的同等有效性，并在大规模数据集上实现了最先进性能。

    Mar, 2024

  • 如何理解掩蔽自编码器

    本文第一次提出了一种统一的理论框架，用数学方法解释 MAE 的强大表现，说明其基于补丁的注意力方法，并使用操作符理论阐明了 MAE 成功的主要原因。

    Feb, 2022

  • A$^{2}$-MAE：一种基于锚点感知屏蔽自编码器的空时谱统一遥感预训练方法

    利用遥感数据构建了一个空间 - 时间 - 光谱结构化数据集（STSSD），并提出了一个新方法（A$^{2}$-MAE），通过预训练相互补充不同类型的遥感图像和地理信息来重构遮蔽补丁，实现了多种下游任务的全面改进。

    Jun, 2024

  • 显微镜遮蔽自编码器是可扩展的细胞生物学学习模型

    在生物研究中，将显微镜图像分析成特征仍然是一个重大挑战。本研究探讨了弱监督分类器和自监督掩码自编码器（MAEs）在使用越来越大的模型和显微镜数据集进行训练时的伸缩性能。我们的研究结果表明，基于 ViT 的 MAEs 在多项任务上优于弱监督分类器，在从公共数据库中获取的已知生物关系的召回中相对改进了 11.5%。此外，我们还开发了一种新的通道无关的 MAE 架构（CA-MAE），可以在推理时输入具有不同通道数和顺序的图像。我们证明了 CA-MAEs 通过在具有不同实验条件和通道结构的显微镜图像数据集（JUMP-CP）上进行推断和评估的方法有效地泛化。我们的发现促使继续在显微镜数据上进行自监督学习的规模扩展研究，以创建能够催化药物发现等领域进展的细胞生物学强大基础模型。

    Apr, 2024