该研究探讨了 Transformer 模型在美国爱荷华州 125 个不同位置的 120 小时溪流预测中的有效性。利用前 72 小时的数据，包括降雨量、蒸发蒸腾量和流量值，我们开发了一个通用模型来预测未来的溪流流量。我们的方法与通常依赖于特定位置模型的传统方法相反。我们将 Transformer 模型的性能与三个深度学习模型（LSTM、GRU 和 Seq2Seq）以及持久性方法进行了基准测试，利用 Nash-Sutcliffe 效率（NSE）、Kling-Gupta 效度（KGE）、Pearson 相关系数和归一化均方根误差（NRMSE）作为度量标准。研究结果显示 Transformer 模型的卓越性能，具有更高的中位数 NSE 和 KGE 分数，并展现出最低的 NRMSE 值。这表明它能够准确模拟和预测溪流流量，并能有效适应不同的水文条件和地理变化。我们的发现强调了 Transformer 模型在水文建模中作为先进工具的潜力，相比传统和现代方法具有显著改进。

Jun, 2024

该研究提出了一种全局 Transformer 体系结构用于多房间建筑的室内温度预测，旨在优化能源消耗并减少与暖通空调系统相关的温室气体排放。该方法为温度预测提供了一种新颖解决方案，可提高准确性和效率，成为优化建筑行业能源消耗和减少温室气体排放的有价值工具。

Oct, 2023

借助预训练的 Pangu 模型和基于电涡流的时间模块，我们的研究提出了一种电涡流通知变压器方法，能够改善未来天气状况的预测能力并提高输出的空间精度。此外，我们的方法还提供了利用现有基础模型进行多功能下游任务的资源高效途径。

Jan, 2024

该论文提出了一种名为 Earthformer 的深度学习模型，通过利用 cuboid attention 机制，成功地应用于 El Nino/Southern Oscillation (ENSO) 的预测，该方法表现出了最新的性能。

Jul, 2022

利用 Transformer-based 深度学习模型，我们在考虑气候变化的短期动态的同时，通过转移与大气状态有关的全球学习表示，仅依靠气象数据全球性地估计了 0.25° 分辨率的植被活动，并且证明了与从头学习的 NDVI 模型相比，利用预训练的天气模型可以提高 NDVI 估计结果。

Mar, 2024

通过 Stormer，一种基于转换器模型的简单天气预报方法，我们能够以较少的训练数据和计算量实现与现有方法相媲美的准确性，在 7 天以上的天气预报中表现出色，并展示了其有利的扩展性。

Dec, 2023

通过结合稀疏注意机制和引入非线性输出层的变体模型，本研究基于变压器模型对水位进行多步预测，并考虑同时的气象和水文因素。结果表明，该变体模型相比传统的变压器模型，在不同的前瞻时间内以各种评估指标显示出更好的性能。基于 XAI 技术的敏感性分析显示出气象因素对水位演变的显著影响，其中温度是最重要的气象因素。因此，同时考虑气象和水文因素对可靠的水文预测和防洪工作至关重要，并且 XAI 技术帮助理解预测结果并评估其合理性。

May, 2024

通过在 ERA5 数据上训练经过最小改进的 SwinV2 Transformer 模型，我们展示了即使在相对常规的体系结构、简单的训练过程和适度的计算预算下，也可以实现高水平的预测技巧，并比较了其与 IFS 的优越性。我们对训练流程的关键方面进行了一些剖析，探索了不同的损失函数、模型尺寸和深度以及多步细调的影响，并且通过超出典型 ACC 和 RMSE 的指标来检查模型的性能，并研究了模型规模对性能的影响。

Apr, 2024

气象和农业中常见的危害和问题之一是霜冻、寒冷或冻结的问题。本研究使用了三种方法，包括门控循环单元（GRU）、时间卷积网络（TCN）和梯度提升（XGBoost），证明基于机器学习方法的最低温度建模比经验方法具有更好的性能。

Jan, 2024

通过引入一种新颖的时空 Transformer 模型（ST-Transformer）来解决稀疏时空数据中缺失值的问题，本研究展示了该模型在土壤湿度数据中的应用，其通过多个时空注意力层来捕捉数据中复杂的时空相关性，并在填补过程中整合额外的时空协变量以提高准确性，相较于其他著名的填补方法，该模型表现出卓越的准确性，并在其他数据集的模拟研究中展示了其在各种时空填补任务中的广泛适用性。

Dec, 2023