Jun, 2023

GEO-Bench：地球监测基础模型

PDF
TL;DR本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。
self-supervisionneural networksfoundation modelsearth monitoringbenchmark
发现论文，激发创造
  • 评估与基准化地球观测和地理空间的人工智能模型

    基于基础模型对计算机视觉、地球观测和地理空间人工智能领域的问题进行联合解决，其对于有限的标记数据表现出更好的性能，并且在下游任务中具有标签高效的特点。

    Jun, 2024

  • PhilEO Bench: 评估地理空间基础模型

    本研究介绍了 PhilEO Bench，这是一个用于评估遥感基础模型的创新评估框架，其中包括一个测试平台和一个包含建筑密度估计、道路分割和土地覆盖分类三个下游任务的 400GB Sentinel-2 数据集。通过使用该框架对 Prithvi 和 SatMAE 等不同基础模型进行多个 n-shot 和收敛率的实验评估。

    Jan, 2024

  • 通用地理空间人工智能的基础模型

    基于深度学习的 Prithvi 地球观测模型通过高效前期训练和微调，成功实现地球观测领域多个任务的优化，证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用，并表明可显著减少可用标注数据的数量而不影响模型准确性。

    Oct, 2023

  • 基础模型的有效时机：利用多光谱图像进行像素级分类的适用性研究

    基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性，而传统机器学习模型在某些场景下表现得更好，尤其是在纹理不适用于分类的任务中。

    Apr, 2024

  • 基础模型在地理空间人工智能中的机遇与挑战

    通过在多个地理空间子领域进行测试，发现在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但是在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此，通过处理不同的地理数据模态，建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。

    Apr, 2023

  • 遥感图像亿级基础模型

    本文研究了模型参数数量增加对远程遥感领域中基础模型在旋转物体检测和语义分割等下游任务性能的影响，并通过实验验证了模型参数数量的增加可以提升模型性能和数据效率，进而提出了一种有效的基于视觉变换器进行扩展和微调的远程遥感领域的方法。

    Apr, 2023

  • 使用数据核心比较基础模型

    本文提出了一种不需要度量的基于嵌入空间几何的方法来比较基础模型，并展示了该框架如何用于诱导一组带有距离函数的模型流型，其与多个下游度量强相关。

    May, 2023

  • FoMo-Bench：一种多模态、多尺度和多任务的遥感基础模型森林监测基准

    森林监测的研究中，通过使用机器学习算法和遥感技术，整合多种感知模态的全球规模森林数据集，提出了首个统一的森林监测基准测试集（FoMo-Bench），包括多个森林监测任务，并引入了全球性的新数据集 TalloS，旨在激发机器学习和森林生物学研究者之间的合作。

    Dec, 2023

  • 面向时间序列数据的基础模型

    本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。

    Oct, 2023

  • 一个大规模评估的语音基础模型

    我们建立了语音处理通用性能基准（SUPERB），使用冻结的基础模型和任务专门化的轻量级预测头，证实了基础模型范式在语音处理中的潜力和我们的多任务框架的简单而有效性，具备竞争力的泛化能力。我们还进行了一系列分析，深入了解 SUPERB 和语音基准模型，包括模型内任务之间的信息流动，加权求和基准测试协议的正确性以及基准测试的统计显著性和稳健性。

    Apr, 2024