通过结合本地卷积和全局基于傅立叶变换的 Transformer 架构，EarthFarseer 提出了一个简洁的框架，以动态捕捉本地 - 全局空间交互和依赖关系，并通过多尺度全卷积和傅立叶架构高效地捕捉时间演化。在八个人类社会物理和自然物理数据集上的广泛实验和可视化证明了 EarthFarseer 的最先进性能。

Dec, 2023

以 Transformer 为基础的模型在天气预报中显示出了显著的潜力，但受到离散模型的限制，其学习连续的时空特征方面能力有限。本文提出了一种用于天气预报的时空连续视觉 Transformer 模型 Conformer，通过在多头注意力机制中实现连续性来学习连续的天气演变过程。在与一种先进的数值天气预报模型和其他深度学习基于天气预报模型的对比中，Conformer 在所有的时间引导下表现出优于部分现有数据驱动模型的性能，且仅使用分辨率较低的数据进行训练。

Feb, 2024

本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

我们提出了一种适用于球面几何的因子化注意力模型，用于天气预测。该模型在精确度和效率上的表现与纯数据驱动的机器学习天气预测模型相当，具备在准确度与计算成本上优于基于 Transformer 模型的标准注意力模型的潜力。

May, 2024

该论文提出了一种基于 Y-shaped 编码器 - 解码器结构的 Yformer 模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为 19.82％和 18.41％MSE 和 13.62％和 11.85％MAE。

Oct, 2021

本文介绍了 WeatherFormer，一种基于 Transformer 编码器的模型，旨在从少量观测数据中学习稳健的天气特征。它解决了在农业、流行病学和气候科学中许多预测任务中建模复杂天气动态的挑战。WeatherFormer 在大型预训练数据集上进行了预训练，包括 39 年在美洲范围内的卫星测量数据。通过独特的预训练任务和微调，WeatherFormer 在县级大豆产量预测和流感预测方面实现了最先进的性能。技术创新包括捕捉地理、年度和季节性变化的独特时空编码，将 Transformer 架构适应连续天气数据，以及一种能够学习对缺失天气特征具有稳健性的表示的预训练策略。本文首次证明了使用大型 Transformer 编码器模型在多个领域的天气相关应用中进行预训练的有效性。

May, 2024

通过 Stormer，一种基于转换器模型的简单天气预报方法，我们能够以较少的训练数据和计算量实现与现有方法相媲美的准确性，在 7 天以上的天气预报中表现出色，并展示了其有利的扩展性。

Dec, 2023

通过基于图的 Transformer 模型 Forecaster 来解决时空相关数据处理中的空间依赖、时间依赖、数据非平稳性和数据异质性问题，并在预测出租车叫车需求问题中取得了显著的优势。

Sep, 2019

提出了一种基于转换器的差分重构注意模型 DRAformer，该模型通过使用差分进行稳定特征表示和集中关注序列属性解决时间序列预测中存在的问题，在四个大规模数据集上表现出了优越性。

Jun, 2022

通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

Jul, 2022