Color out of space: 为地球观测影像学习自监督表示
本研究提出了一种新颖的域自适应范式,利用遥感卫星数据来研究对比自监督表示学习和知识转移。通过在源数据集上进行自监督对比学习的预训练,并以循环交替的方式在目标数据集上进行下游任务,该方法实现了自监督知识转移,达到了最先进的性能和可解释的表示学习。
Apr, 2023
土地覆盖分类和变化检测是遥感和地球观测的两个重要应用,利用深度学习的最新架构对它们进行的分类任务取得了明显的进展,但对输入数据的不同视觉特征对模型预测结果的影响尚不明确,因此本研究系统地分析了无扭曲训练模型在推理过程中对颜色和纹理等多种特征的敏感性,发现对纹理的敏感性更大,这些发现不仅揭示了被广泛应用的土地覆盖分类模型的有趣特点,也指导了地球观测领域更鲁棒模型的开发。
Mar, 2024
介绍单层和深度卷积网络用于遥感数据分析的应用,使用贪婪层次无监督预训练和高效的无监督特征学习算法提取有稀疏特征,结果表明深度架构比单层架构的分类性能更好。
Nov, 2015
通过自监督学习机制,利用未标记的大规模遥感图像数据进行预训练,提高了远程传感器图像场景分类任务的性能,与传统的以 Imagenet 为代表的方法相比表现更佳。同时,研究了多个影响自监督学习的因素,这些研究成果对遥感领域中 SSL 技术的发展具有积极意义,有望提高大规模遥感图像处理的效率。
Oct, 2020
通过对自监督学习在卫星图像等各个领域的实验发现,旋转任务是语义最具意义的,而 Jigsaw 和 Instance Discrimination 的性能很大程度上归因于它们诱导分布的特性,但在细粒度分类等任务上所有任务的表现均不佳,这些成功和失败的原因通过对预训练泛化、随机标签和隐含维度的研究进行了定量和定性的诊断。
Apr, 2020
我们提出了一种针对遥感数据的高效半监督学习方法,通过适应 FixMatch 框架以及消除训练数据中的偏差,使用已标记数据的 30% 在遥感数据集上相较于基准监督学习方法提供了 7.1% 的准确度提升,以及相较于监督学习的最新方法 CDS 提供了 2.1% 的准确度提升。
Dec, 2023
利用自监督预训练技术在大规模卫星数据上取得了重要进展,同时发现在地表覆盖地表利用产品等自由全球语义信息资源和自然世界的视觉基础模型等重要资源的应用能显著提高地球观测预训练的效率和效果。
May, 2024
利用自我监督学习从大规模、无标签数据集中学习表示已被证明对于理解各种远程感知图像非常有效。本研究提出了一种增强型自我监督表示学习方法,通过简单而高效的预训练流程,解决了对比学习中的假阳性匹配问题以及重构学习中缺失上下文信息的问题,并通过语义一致性约束提供上下文信息。实验证明该方法在土地覆盖分类、语义分割、目标检测和实例分割等多个下游任务上优于全监督学习模型和目前最先进的自我监督学习方法,表明该方法能够学习出具有高泛化性和可迁移性的远程感知表示。
Sep, 2023