Apr, 2024
大规模基于 Transformer 的天气预测的训练配方分析与探索
Analyzing and Exploring Training Recipes for Large-Scale Transformer-Based Weather Prediction
Jared D. Willard, Peter Harrington, Shashank Subramanian, Ankur Mahesh, Travis A. O'Brien...
TL;DR通过在 ERA5 数据上训练经过最小改进的 SwinV2 Transformer 模型，我们展示了即使在相对常规的体系结构、简单的训练过程和适度的计算预算下，也可以实现高水平的预测技巧，并比较了其与 IFS 的优越性。我们对训练流程的关键方面进行了一些剖析，探索了不同的损失函数、模型尺寸和深度以及多步细调的影响，并且通过超出典型 ACC 和 RMSE 的指标来检查模型的性能，并研究了模型规模对性能的影响。