Dec, 2022

使用可视 Transformer 解决 3D 图像 Weather4cast 挑战

PDF
TL;DR本文介绍了通过使用基于 transformer 的算法来解决 NeurIPS 2022 中的 Weather4cast 挑战，预测在接下来的 8 小时内的降雨事件，并通过将不同的 transformer 和基线模型进行集合，获得了最好的性能。
weather4castrainfall predictiontransformer-based architecturesensemblingneurips 2022
发现论文，激发创造
  • 基于循环卷积网络的短期天气预报改进

    该研究承担了预测卫星气象数据的二维场的时间演变的任务，使其成为一个更加具有竞争力的浅层模型版本，并采用了 AdaBelief 优化器和改进处理，其中预测变量训练集与验证集不匹配时，通过使用多个模型来提高表现。

    Nov, 2021

  • 大规模基于 Transformer 的天气预测的训练配方分析与探索

    通过在 ERA5 数据上训练经过最小改进的 SwinV2 Transformer 模型，我们展示了即使在相对常规的体系结构、简单的训练过程和适度的计算预算下，也可以实现高水平的预测技巧，并比较了其与 IFS 的优越性。我们对训练流程的关键方面进行了一些剖析，探索了不同的损失函数、模型尺寸和深度以及多步细调的影响，并且通过超出典型 ACC 和 RMSE 的指标来检查模型的性能，并研究了模型规模对性能的影响。

    Apr, 2024

  • RainAI -- 卫星数据降水即时预测

    通过使用 2D U-Net 模型进行空时特征学习，通过重要性采样和数据集准备，以及研究交叉熵损失函数、条件时间领先和上采样方法，提升天气预报准确性。

    Nov, 2023

  • CaFA：基于球面上的因式化注意力的全球天气预报

    我们提出了一种适用于球面几何的因子化注意力模型，用于天气预测。该模型在精确度和效率上的表现与纯数据驱动的机器学习天气预测模型相当，具备在准确度与计算成本上优于基于 Transformer 模型的标准注意力模型的潜力。

    May, 2024

  • 大范围神经网络精细预测十二小时降水

    本文介绍了一种基于神经网络的天气预测模型，可以在大范围内预测未来十二小时的降水，并在大陆美国地区比基于物理的 HRRR 及 HREF 模型表现更好，进而证明基于数据驱动的预测模型具有推动天气预测技术进步的潜力。

    Nov, 2021

  • 规模化 Transformer 神经网络用于高技巧和可靠的中期天气预报

    通过 Stormer，一种基于转换器模型的简单天气预报方法，我们能够以较少的训练数据和计算量实现与现有方法相媲美的准确性，在 7 天以上的天气预报中表现出色，并展示了其有利的扩展性。

    Dec, 2023

  • TransWeather：基于 Transformer 的逆天气图像恢复

    本研究提出了一种基于 Transformer 的端到端模型 TransWeather，只使用一个编码器和一个解码器，可以有效去除任何天气条件下的图像失真，其在多个测试数据集上均取得了比 All-in-One 方法和 Fine-tuned 方法更好的效果，并在现实世界的测试图像上进行了验证。

    Nov, 2021

  • 利用 Transformer 网络融合卫星图像和气象数据进行霜霉病检测

    利用多域融合技术，结合深度学习和天气遥感数据检测农作物疾病的新方法取得了 97% 的准确率，该方法由三个 Transformer 组成，通过结合图像与天气数据信息达到多模态融合，解决了数据融合问题。

    Sep, 2022

  • FourCastNet: 使用自适应傅里叶神经算子加速全球高分辨率天气预报

    该论文基于数据驱动的深度学习技术，提出了 FourCastNet 这一可以比当前基于物理的数值天气预报快 80000 倍并且准确性优于状态 -，预测全球天气、产生中程预报的系统。同时，FourCastNet 还可以生成准确的即时天气预测，提高了全球预测的分辨率。

    Aug, 2022

  • 基于远程联系信息的高效亚季节气象预测

    借助预训练的 Pangu 模型和基于电涡流的时间模块，我们的研究提出了一种电涡流通知变压器方法，能够改善未来天气状况的预测能力并提高输出的空间精度。此外，我们的方法还提供了利用现有基础模型进行多功能下游任务的资源高效途径。

    Jan, 2024