在前沿上预训练十亿级地理空间基础模型
本文研究了模型参数数量增加对远程遥感领域中基础模型在旋转物体检测和语义分割等下游任务性能的影响,并通过实验验证了模型参数数量的增加可以提升模型性能和数据效率,进而提出了一种有效的基于视觉变换器进行扩展和微调的远程遥感领域的方法。
Apr, 2023
通过在多个地理空间子领域进行测试,发现在某些文本模态的地理任务中,基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型,但是在其他涉及多种数据模态的地理任务上,现有的基础模型仍然不如基于任务特定的模型表现。因此,通过处理不同的地理数据模态,建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。
Apr, 2023
本研究针对遥感任务的基础模型研究进行了探讨,提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法,并报告了二十种基线模型的结果,旨在推动地球监测领域的模型进展。
Jun, 2023
基于深度学习的Prithvi地球观测模型通过高效前期训练和微调,成功实现地球观测领域多个任务的优化,证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用,并表明可显著减少可用标注数据的数量而不影响模型准确性。
Oct, 2023
基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性,而传统机器学习模型在某些场景下表现得更好,尤其是在纹理不适用于分类的任务中。
Apr, 2024
本文全面审查了视觉-语言地理基础模型(VLGFMs),总结和分析了该领域的最新发展,包括VLGFMs的背景、动机、核心技术和应用,以及未来研究方向的洞察、问题和讨论。
Jun, 2024
本研究针对遥感领域中人工智能基础模型的应用进行了全面综述,填补了现有文献在2021年6月至2024年6月之间发布的模型分析中的空白。论文提出了新的见解,特别强调自监督学习等预训练方法对提升模型性能和稳健性的关键作用,以及为遥感任务(如场景分类和目标检测)带来的显著进展和未来研究方向。
Aug, 2024
本研究针对地理空间基础模型在图像分析中的适应性不足问题,评估了NASA-IBM发布的GFM Prithvi在多个基准数据集上的预测性能。本文提出了一系列新策略,如波段适配和多尺度特征生成,以增强Prithvi的领域适应能力,提升模型的整体表现,为未来的视觉基础模型开发提供了重要见解。
Aug, 2024
本研究旨在解决基础模型在遥感图像预训练中的参数数量限制,提出了一种结合高性能计算资源和高分辨率光学遥感数据的新方法。研究显示,通过数据扩展和合适的模型初始化,可以显著提升模型在图像分类、语义分割和物体检测等任务中的表现,提供了重要的实践指南以支持地理空间社区的未来研究。
Oct, 2024
本研究探讨了专门领域中基础模型的效能,指出这些模型在基因组学、卫星成像和时间序列等领域未能超越传统监督学习。研究者发现,即便是简单的监督模型也能达到或超越最新的基础模型,强调在新模型发布时需与强大的、经过良好调优的基线进行比较,并提出了两种新的开源自动化工作流程。
Nov, 2024