本文介绍了CloudLSTM，这是一种专门用于预测由地球空间点云生成的数据流的新型循环神经模型。我们设计了一种动态点云卷积(DConv)操作符作为CloudLSTM的核心组件，直接对点云进行卷积，并从围绕输入不同元素的相邻点集中提取本地空间特征。我们将所提出的结构应用于两个代表性的、涉及点云流的实际用例，即移动服务交通预测和空气质量指标预测。我们的结果表明，CloudLSTM可以提供准确的长期预测，胜过各种竞争神经网络模型。

Jul, 2019

本研究提出了一种完整的解决方案，包括特征提取和目标预测，旨在解决多变量长期时间序列预测中的空间特征提取和不同预测时期的一致性问题。新的方法称为“时空编码串联变压器（Stecformer）”，其采用高效的时空编码提取器和级联解码预测器来改善基线模型的性能，并在五个基准数据集上实现了与基线模型可比较的最先进性能。

May, 2023

通过Stormer，一种基于转换器模型的简单天气预报方法，我们能够以较少的训练数据和计算量实现与现有方法相媲美的准确性，在7天以上的天气预报中表现出色，并展示了其有利的扩展性。

Dec, 2023

在本论文中，作者介绍了Kunyu模型，它是一个全球数据驱动的天气预测模型，通过整合回归和对抗学习，生成更清晰和真实的预测，优于ECMWF HRES在一些方面并与其在RMSE和ACC等评估指标上竞争力保持一致，是在缩小数值和数据驱动天气预测之间的实用性差距方面迈出的重要一步。

Dec, 2023

借助预训练的 Pangu 模型和基于电涡流的时间模块，我们的研究提出了一种电涡流通知变压器方法，能够改善未来天气状况的预测能力并提高输出的空间精度。此外，我们的方法还提供了利用现有基础模型进行多功能下游任务的资源高效途径。

Jan, 2024

以Transformer为基础的模型在天气预报中显示出了显著的潜力，但受到离散模型的限制，其学习连续的时空特征方面能力有限。本文提出了一种用于天气预报的时空连续视觉Transformer模型Conformer，通过在多头注意力机制中实现连续性来学习连续的天气演变过程。在与一种先进的数值天气预报模型和其他深度学习基于天气预报模型的对比中，Conformer在所有的时间引导下表现出优于部分现有数据驱动模型的性能，且仅使用分辨率较低的数据进行训练。

Feb, 2024

通过在ERA5数据上训练经过最小改进的SwinV2 Transformer模型，我们展示了即使在相对常规的体系结构、简单的训练过程和适度的计算预算下，也可以实现高水平的预测技巧，并比较了其与IFS的优越性。我们对训练流程的关键方面进行了一些剖析，探索了不同的损失函数、模型尺寸和深度以及多步细调的影响，并且通过超出典型ACC和RMSE的指标来检查模型的性能，并研究了模型规模对性能的影响。

Apr, 2024

本研究提出了一种基于AI的天气预测系统，通过将物理约束作为归纳先验嵌入到神经网络架构中，将2D注意力与基于列的注意力特征交互模块相结合，设计出一种名为ArchesWeather的转换器模型，证明了该设计改进了预测技巧。

May, 2024

本文介绍了WeatherFormer，一种基于Transformer编码器的模型，旨在从少量观测数据中学习稳健的天气特征。它解决了在农业、流行病学和气候科学中许多预测任务中建模复杂天气动态的挑战。WeatherFormer在大型预训练数据集上进行了预训练，包括39年在美洲范围内的卫星测量数据。通过独特的预训练任务和微调，WeatherFormer在县级大豆产量预测和流感预测方面实现了最先进的性能。技术创新包括捕捉地理、年度和季节性变化的独特时空编码，将Transformer架构适应连续天气数据，以及一种能够学习对缺失天气特征具有稳健性的表示的预训练策略。本文首次证明了使用大型Transformer编码器模型在多个领域的天气相关应用中进行预训练的有效性。

May, 2024

尽管深度学习天气预报系统取得了显著进展，但其设计空间及不同设计选择的影响尚未得到充分理解。本文通过系统分析架构、问题表述、预训练方案等关键因素，发现固定网格架构优于网格不变架构，并提出一种结合两者优点的混合系统。这些研究结果有助于未来更好天气预报系统的设计。

Oct, 2024