Jan, 2024

探索用于遥感中与传感器无关图像检索的掩模自编码器

PDF
TL;DR遥感图像的自监督学习通过掩码自编码器（MAEs）近期吸引了广泛关注，该方法在内容基准图像检索（CBIR）方面具有重要潜力。然而，现有研究假设考虑的遥感图像是由单一图像传感器获取的，因此仅适用于单模态 CBIR 问题。本文首次探讨了 MAEs 在遥感领域跨传感器 CBIR 中的有效性，并针对多传感器遥感图像库提出了掩码图像建模的不同 CSMAE 模型，通过广泛的实验分析得出了利用掩码图像建模解决单模态和跨模态 CBIR 问题的指导方针。
self-supervised learningmasked autoencodersremote sensingcross-sensor cbirmulti-sensor rs image archives
发现论文，激发创造
  • SS-MAE：用于多源遥感图像分类的空间 - 频谱屏蔽自编码器

    提出了一种空间 - 光谱掩码自编码器 (SS-MAE) 用于高光谱成像和激光雷达 / 合成孔径雷达数据的联合分类，实现了空间和光谱表示的充分利用，并通过在训练阶段添加两个轻量级卷积神经网络来补充局部特征，成功在三个公开数据集上验证了 SS-MAE 相对于其他先进基线方法的优越性。

    Nov, 2023

  • Fus-MAE：一种基于交叉注意力的遥感掩码自编码器数据融合方法

    Fus-MAE is a self-supervised learning framework based on masked autoencoders that performs data fusion between synthetic aperture radar and multispectral optical data, effectively competing with contrastive learning strategies in SAR-optical data fusion.

    Jan, 2024

  • 远程感知中基于特征引导的遮罩自编码器实现自监督学习

    以受限遮蔽图像模型为指导的自主学习在遥感中预训练视觉转换器方面引起了广泛关注。在本文中，我们探讨了光谱和空间遥感图像特征作为改进的自编码器重建目标。实验结果说明了 FG-MAE 在 SAR 图像方面的特殊增强效果，同时展示了 FG-MAE 的良好可扩展性，并发布了首批用于中分辨率 SAR 和多光谱图像的预训练视觉转换器。

    Oct, 2023

  • 大规模遥感数据集上有效的掩码自编码器学习扩展

    这篇研究介绍了 RS-4M，一个大规模的数据集，用于在遥感图像上进行高效的 Masked Image Modeling（MIM）训练。同时提出了一种名为 SelectiveMAE 的高效 MIM 方法，通过动态编码和重构一部分基于语义丰富性选择的补丁令牌，显著提升了 MIM 模型的训练效率和基线模型的分类、检测和分割性能。

    Jun, 2024

  • 跨尺度 MAE: 遥感中多尺度利用的故事

    远程感知图像理解中，该研究通过自监督学习的通用框架重新探讨了经典的多尺度表示学习问题，提出了一种基于掩码自编码器（MAE）的 Cross-Scale MAE 自监督模型，通过尺度增强技术以及对比损失和生成损失的交叉尺度一致性约束来确保一致且有意义的表示，进一步利用 xFormers 库在单个 GPU 上加速网络预训练并保持所学表示的质量，实验证明 Cross-Scale MAE 相较于标准 MAE 和其他最先进的远程感知 MAE 方法具有优越的性能。

    Jan, 2024

  • A$^{2}$-MAE：一种基于锚点感知屏蔽自编码器的空时谱统一遥感预训练方法

    利用遥感数据构建了一个空间 - 时间 - 光谱结构化数据集（STSSD），并提出了一个新方法（A$^{2}$-MAE），通过预训练相互补充不同类型的遥感图像和地理信息来重构遮蔽补丁，实现了多种下游任务的全面改进。

    Jun, 2024

  • 基于注意力引导的蒙版自动编码器用于学习图像表示

    利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有更好的潜在表示能力，同时使 ViTs 对不同背景更加稳健。

    Feb, 2024

  • 模态不可知的元学习遮蔽自编码器的自监督学习

    通过将 Masked Auto-Encoder（MAE）作为一个统一的、与模态无关的自监督学习框架，通过元学习对其进行解读，并从统一提高其在不同模态下的自监督学习的动机出发，我们提出了 MetaMAE。我们的关键思想是将 MAE 的掩码重构视为元学习任务，并通过未掩码标记的变换器元学习的涉及来预测掩码令牌。基于这个新颖的解读，我们提出了集成两种先进的元学习技术的方法。首先，我们使用基于梯度的元学习来适应变换器编码器的平均潜在因素以增强重构。然后，我们通过任务对比学习来最大化平均化和适应化潜在因素之间的对齐，从而指导变换器编码器更好地编码任务特定的知识。我们的实验证明了 MetaMAE 在与模态无关的自监督学习基准（称为 DABS）中的优越性，明显优于之前的基线。

    Oct, 2023

  • 实现可传递的多模态感知表示学习自主性：NeRF-Supervised 遮蔽自动编码器

    该论文提出了一种统一的自监督预训练框架，通过在神经辐射场 (NeRF) 中进行掩蔽多模态重建，实现可传输的多模态感知表示学习。实验证明，通过该方法学习到的表示对于多样化的三维感知下游任务（包括三维物体检测和 BEV 地图分割）具有良好的可迁移性，并且可享受掩蔽自编码器和神经辐射场机制的协同效应。

    Nov, 2023

  • 显微镜遮蔽自编码器是可扩展的细胞生物学学习模型

    在生物研究中，将显微镜图像分析成特征仍然是一个重大挑战。本研究探讨了弱监督分类器和自监督掩码自编码器（MAEs）在使用越来越大的模型和显微镜数据集进行训练时的伸缩性能。我们的研究结果表明，基于 ViT 的 MAEs 在多项任务上优于弱监督分类器，在从公共数据库中获取的已知生物关系的召回中相对改进了 11.5%。此外，我们还开发了一种新的通道无关的 MAE 架构（CA-MAE），可以在推理时输入具有不同通道数和顺序的图像。我们证明了 CA-MAEs 通过在具有不同实验条件和通道结构的显微镜图像数据集（JUMP-CP）上进行推断和评估的方法有效地泛化。我们的发现促使继续在显微镜数据上进行自监督学习的规模扩展研究，以创建能够催化药物发现等领域进展的细胞生物学强大基础模型。

    Apr, 2024