利用地理空间基础模型的多光谱遥感图像检索
本研究提供了一种新型用于遥感图像检索(RSIR)的大规模数据集称为PatternNet, 同时对传统的手工特征方法和近期的深度学习方法进行了全面评估,以建立PatternNet基准测试结果作为未来遥感数据检索算法研究的基础。
Jun, 2017
本篇论文综合研究了遥感图像检索中的特征提取、相似度度量和相关反馈三个核心问题,并提出使用深度学习方法解决特征提取问题,对可能影响深度特征性能的相关因素进行了系统调查,并在公共数据集上获得了显著的检索结果。
Jul, 2017
基于深度学习的Prithvi地球观测模型通过高效前期训练和微调,成功实现地球观测领域多个任务的优化,证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用,并表明可显著减少可用标注数据的数量而不影响模型准确性。
Oct, 2023
遥感图像的自监督学习通过掩码自编码器(MAEs)近期吸引了广泛关注,该方法在内容基准图像检索(CBIR)方面具有重要潜力。然而,现有研究假设考虑的遥感图像是由单一图像传感器获取的,因此仅适用于单模态CBIR问题。本文首次探讨了MAEs在遥感领域跨传感器CBIR中的有效性,并针对多传感器遥感图像库提出了掩码图像建模的不同CSMAE模型,通过广泛的实验分析得出了利用掩码图像建模解决单模态和跨模态CBIR问题的指导方针。
Jan, 2024
本研究提出了RS-CapRet,一种远程感知任务的视觉和语言方法,主要用于图像字幕生成和文本-图像检索。通过对远程感知图像进行对比性语言-图像预训练,我们将高性能大型解码器语言模型与适应远程感知图像的图像编码器结合使用。RS-CapRet能够为远程感知图像生成描述,并能够根据文本描述检索图像,以实现与现有方法相媲美的性能。定性结果表明,RS-CapRet能够有效利用预训练的大型语言模型描述远程感知图像,并能够处理图像和文本的交错序列对话。
Feb, 2024
基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性,而传统机器学习模型在某些场景下表现得更好,尤其是在纹理不适用于分类的任务中。
Apr, 2024
通过使用外部知识图谱挖掘相关信息,我们提出了一种适用于遥感图像的知识感知文本-图像检索(KTIR)方法,该方法丰富了搜索查询中可用的文本范围,缓解了文本和图像之间的信息差距,实现更好的匹配。实验结果表明,该方法在遥感文本-图像检索中表现出优异的检索能力,超越了现有的最先进方法。
May, 2024
本文介绍了一种应用于遥感的组合图像检索方法,该方法允许通过图像示例和文本描述在大型图像库中进行查询,丰富了对单模态查询(无论是视觉还是文本)的描述能力。我们介绍了一种融合了图像-图像和文本-图像相似度的新方法,证明了视觉-语言模型具有足够的描述能力,无需进一步的学习步骤或训练数据。我们提出了一个新的评估基准,重点关注颜色、上下文、密度、存在性、数量和形状的修改。本工作不仅在此任务中取得了最新的技术成果,同时也填补了遥感图像检索领域的空白。
May, 2024
本研究解决了高光谱成像(HSI)领域缺乏全面且具有全球代表性的高光谱数据集的问题。我们提出了SpectralEarth,一个大型多时相数据集,旨在通过自监督学习算法预训练高光谱基础模型,显著提高了不同任务和传感器中的模型通用性和计算效率。该数据集、模型和源代码将公开发布,推动高光谱成像的进一步研究与应用。
Aug, 2024
本研究针对地理空间基础模型在图像分析中的适应性不足问题,评估了NASA-IBM发布的GFM Prithvi在多个基准数据集上的预测性能。本文提出了一系列新策略,如波段适配和多尺度特征生成,以增强Prithvi的领域适应能力,提升模型的整体表现,为未来的视觉基础模型开发提供了重要见解。
Aug, 2024