CaFA：基于球面上的因式化注意力的全球天气预报

May, 2024

CaFA：基于球面上的因式化注意力的全球天气预报

CaFA: Global Weather Forecasting with Factorized Attention on Sphere

Zijie Li, Anthony Zhou, Saurabh Patil, Amir Barati Farimani

TL;DR我们提出了一种适用于球面几何的因子化注意力模型，用于天气预测。该模型在精确度和效率上的表现与纯数据驱动的机器学习天气预测模型相当，具备在准确度与计算成本上优于基于 Transformer 模型的标准注意力模型的潜力。

Abstract

Accurate weather forecasting is crucial in various sectors, impacting decision-making processes and societal events. Data-driven approaches based on machine learning models have recently emerged as a promising al

weather forecasting machine learning models transformer model factorized-attention-based model accuracy-efficiency

发现论文，激发创造

基于远程联系信息的高效亚季节气象预测

借助预训练的 Pangu 模型和基于电涡流的时间模块，我们的研究提出了一种电涡流通知变压器方法，能够改善未来天气状况的预测能力并提高输出的空间精度。此外，我们的方法还提供了利用现有基础模型进行多功能下游任务的资源高效途径。

Jan, 2024

ArchesWeather: 1.5° 分辨率的高效人工智能天气预报模型

本研究提出了一种基于 AI 的天气预测系统，通过将物理约束作为归纳先验嵌入到神经网络架构中，将 2D 注意力与基于列的注意力特征交互模块相结合，设计出一种名为 ArchesWeather 的转换器模型，证明了该设计改进了预测技巧。

May, 2024

使用可视 Transformer 解决 3D 图像 Weather4cast 挑战

本文介绍了通过使用基于 transformer 的算法来解决 NeurIPS 2022 中的 Weather4cast 挑战，预测在接下来的 8 小时内的降雨事件，并通过将不同的 transformer 和基线模型进行集合，获得了最好的性能。

Dec, 2022

天气和气候的 AI 基础模型：应用、设计和实施

机器学习和深度学习方法在理解大气混沌行为和推进天气预报方面已得到广泛应用。在构建地球的数字孪生体方面，科技公司、政府机构和气象机构表现出越来越多的兴趣。我们回顾了当前最先进的人工智能方法，主要来自于变换器和算子学习文献，并结合气象学的背景提出了成功的标准，期望实现一系列基础模型用于即时预报和天气气候预测。我们还讨论了这些模型在下游任务中的竞争力，如下降尺度（超分辨率）、火灾有利条件的识别以及对各种时空尺度（如飓风和大气河流）具有重大影响的气象现象的预测。特别是，我们认为当前的人工智能方法已经发展到足以设计和实施一个气象基础模型的成熟阶段。

Sep, 2023

Pangu-Weather: 快速准确的全球天气预报的 3D 高分辨率模型

本文提出基于深度学习的 Pangu-Weather 系统，用于快速而准确的全球天气预报。通过大量数据和深度神经网络，提高了预报精度，成功地将 AI 方法的预报准确度超越了传统的数值天气预报方法，为未来深度学习天气预报系统的改进提供了新方向。

Nov, 2022

利用卷积神经网络在立方球面上改善基于数据的全球天气预报

使用深度卷积神经网络通过 cubed-sphere 重新映射，改进 CNN 架构并在预测序列中优化损失函数，实现了更准确的天气预报，能够以几周或更长的时段内实现不断稳定的天气预报，并在短 - 中程预报中显著优于其他方法。

Mar, 2020

应用图神经网络预测全球天气

使用图神经网络的数据驱动方法预测全球天气，通过学习当前 3D 大气状态的六小时步长以及多步连接，可以产生数天后的精准预报，测试表现优于以前的数据驱动方法，并且与 GFS 和 ECMWF 的物理模型的全分辨率相当可比。

Feb, 2022

通过物理和人工智能混合建模将天气预报推广到细粒度时间尺度

提出了一种物理 - 人工智能（AI）混合模型（即 WeatherGFT），将天气预报推广到超出训练数据集的更细时间尺度，并通过引入一个提前时间感知的训练框架来促进模型在不同提前时间上的推广，实验证明 WeatherGFT 在多个提前时间上达到了最先进的性能，并展现了 30 分钟预测的泛化能力。

May, 2024

注意力作为稳健的时间序列预测表示

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

Earthformer：探索用于地球系统预测的时空变压器

该论文提出了一种名为 Earthformer 的深度学习模型，通过利用 cuboid attention 机制，成功地应用于 El Nino/Southern Oscillation (ENSO) 的预测，该方法表现出了最新的性能。

Jul, 2022