本文研究了结合循环和注意力的方法是否能够提高水文预测的精度并将 Temporal Fusion Transformer (TFT) 模型应用于水文学领域。在 2600 个以上的全球分布的集水区的实验表明，TFT 模型的表现超过了 LSTM 和 Transformers 模型，并可帮助获得流域产流过程的更多见解。

May, 2023

研究了基于 Transformer 模型的时间序列预测方法在短期电力负载预测中的应用，结果表明，该方法不如基于 LSTM 模型在整个电网范围内的日前负载预测性能优越，但在细分的变电站层面上表现出显著的预测性能提升，并且在周前负载预测上具有优越性。

May, 2023

通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

Nov, 2023

该研究提出了神经傅里叶变换 (NFT) 算法，通过结合多维傅里叶变换和时间卷积网络层来提高预测准确性和可解释性，经过实证验证在多个预测时间范围和回顾期上表现出卓越性能，显著提高多变量时间序列预测的水平。

May, 2024

该研究提出了一种联合时频域变压器模型 (JTFT) 进行多元预测的方法，其中使用少量可学习的频率，利用时间序列在频域中的稀疏性来有效提取时间依赖关系，并且 JTFT 通过在时域中直接编码最近的数据点来增强局部关系的学习能力和减轻不稳定性的不利影响，该方法线性复杂度，同时采用低秩注意层来高效捕获跨维度依赖关系并提高模型性能，实验证明 JTFT 优于现有的方法。

May, 2023

通过开发一种名为 Modality-aware Transformer 的新型多模态变压器，我们旨在解决多模态时间序列预测的复杂挑战，并在金融数据集上进行了广泛实验，证明其优于现有方法，提供了一种新颖而实用的解决方案。

Oct, 2023

本文提出了一种基于长短时记忆网络的多模态不规则时间序列事件的特征融合框架，能够提取复杂特征、捕捉非线性关系和时间依赖关系，并使用特征门控制不同张量的访问频率，实验证明该框架在 MIMIC-III 数据集上能显著优于现有方法。

Sep, 2022

本研究使用 VMD 分解风力系列和 TFT 模型进行 1 小时、3 小时和 6 小时的预测，结果表明 VMD 优于其他分解算法，而 TFT 模型优于其他分解模型。

Feb, 2023