May, 2024

WeatherFormer：一个基于预训练编码器模型的小数据集天气表示学习方法

PDF
TL;DR本文介绍了 WeatherFormer，一种基于 Transformer 编码器的模型，旨在从少量观测数据中学习稳健的天气特征。它解决了在农业、流行病学和气候科学中许多预测任务中建模复杂天气动态的挑战。WeatherFormer 在大型预训练数据集上进行了预训练，包括 39 年在美洲范围内的卫星测量数据。通过独特的预训练任务和微调，WeatherFormer 在县级大豆产量预测和流感预测方面实现了最先进的性能。技术创新包括捕捉地理、年度和季节性变化的独特时空编码，将 Transformer 架构适应连续天气数据，以及一种能够学习对缺失天气特征具有稳健性的表示的预训练策略。本文首次证明了使用大型 Transformer 编码器模型在多个领域的天气相关应用中进行预训练的有效性。
weatherformertransformer encoderweather featuresprediction taskspretraining
发现论文，激发创造
  • 规模化 Transformer 神经网络用于高技巧和可靠的中期天气预报

    通过 Stormer，一种基于转换器模型的简单天气预报方法，我们能够以较少的训练数据和计算量实现与现有方法相媲美的准确性，在 7 天以上的天气预报中表现出色，并展示了其有利的扩展性。

    Dec, 2023

  • AirFormer: 利用 Transformers 预测中国全国空气质量

    本文介绍了一种新的 Transformer 架构 AirFormer，用于预测中国全国范围内空气质量，具有前所未有的千亿级细粒度，包括两个新的自我注意机制来高效学习时空表示，并使用潜在变量来捕捉空气质量数据的固有不确定性。我们使用中国大陆 1,085 个气象站的四年数据来评估 AirFormer，并且相比于最先进模型，AirFormer 在 72 小时未来预测上将预测误差降低了 5％〜8％。

    Nov, 2022

  • 使用可视 Transformer 解决 3D 图像 Weather4cast 挑战

    本文介绍了通过使用基于 transformer 的算法来解决 NeurIPS 2022 中的 Weather4cast 挑战，预测在接下来的 8 小时内的降雨事件，并通过将不同的 transformer 和基线模型进行集合，获得了最好的性能。

    Dec, 2022

  • Conformer：将连续注意力嵌入视觉 Transformer 以用于天气预测

    以 Transformer 为基础的模型在天气预报中显示出了显著的潜力，但受到离散模型的限制，其学习连续的时空特征方面能力有限。本文提出了一种用于天气预报的时空连续视觉 Transformer 模型 Conformer，通过在多头注意力机制中实现连续性来学习连续的天气演变过程。在与一种先进的数值天气预报模型和其他深度学习基于天气预报模型的对比中，Conformer 在所有的时间引导下表现出优于部分现有数据驱动模型的性能，且仅使用分辨率较低的数据进行训练。

    Feb, 2024

  • Earthformer：探索用于地球系统预测的时空变压器

    该论文提出了一种名为 Earthformer 的深度学习模型，通过利用 cuboid attention 机制，成功地应用于 El Nino/Southern Oscillation (ENSO) 的预测，该方法表现出了最新的性能。

    Jul, 2022

  • 大规模基于 Transformer 的天气预测的训练配方分析与探索

    通过在 ERA5 数据上训练经过最小改进的 SwinV2 Transformer 模型，我们展示了即使在相对常规的体系结构、简单的训练过程和适度的计算预算下，也可以实现高水平的预测技巧，并比较了其与 IFS 的优越性。我们对训练流程的关键方面进行了一些剖析，探索了不同的损失函数、模型尺寸和深度以及多步细调的影响，并且通过超出典型 ACC 和 RMSE 的指标来检查模型的性能，并研究了模型规模对性能的影响。

    Apr, 2024

  • AgentFormer: 面向多智能体时空预测的智能体感知 Transformer

    论文提出了一个新的 Transformer 模型 AgentFormer，该模型可以联合模拟时间和社交两个维度，用于预测多智能体行为，同时考虑了多智能体的影响以及不确定性。该模型具有良好的性能，并在公共数据集上取得了 state-of-the-art 的结果。

    Mar, 2021

  • 基于远程联系信息的高效亚季节气象预测

    借助预训练的 Pangu 模型和基于电涡流的时间模块，我们的研究提出了一种电涡流通知变压器方法，能够改善未来天气状况的预测能力并提高输出的空间精度。此外，我们的方法还提供了利用现有基础模型进行多功能下游任务的资源高效途径。

    Jan, 2024

  • GeoFormer：使用生成式预训练变形器（GPT）预测人类流动性

    GeoFormer 是一种基于 GPT 架构的解码器转换器模型，通过在 HuMob Challenge 2023 中的测试和排名中表现出色，在灾害准备、流行病控制等领域的人类流动性预测方面具有巨大潜力。

    Nov, 2023

  • 带有掩码自编码器的预训练天气模型用于多变量天气预报

    通过预训练技术，我们提出了一种基于自编码器的气象模型 W-MAE 用于多变量天气预报，在长时间范围内建模了气象变量的空间相关性，在时间尺度上，我们利用预训练的 W-MAE 对气象变量进行未来状态的预测，与 FourCastNet 模型进行比较，W-MAE 具有更好的降雨预测性能，特别是在短到中期范围内的预测中。

    Apr, 2023