本文提出了一种训练分类器来选择 ETS 模型组件形式的方法，以更高效地选出适当的模型，并在 M4 预测竞赛数据集和医院月度数据集上进行了实证研究。

Jun, 2022

该研究提出了一种名为 FEDformer 的算法，采用 Transformer 和季节趋势分解方法相结合，提高长期预测的性能，同时通过基于 Fourier 变换的频率增强技术进一步提高了预测的准确性，与当前先进的方法相比，在多元和单元时间序列上均能大幅度降低预测误差。

Jan, 2022

本研究提出了一种通用的多尺度框架，可应用于当前最先进的基于 Transformer 的时间序列预测模型，通过多尺度共享权重迭代地改进预测的时间序列，引入架构适应和特殊设计的标准化方案，可在不增加过多计算负担的情况下，将性能从 5.5％提高到 38.5％，详细的消融研究表明了每个贡献在架构和方法上的有效性，进一步证明了所提出的改进优于其对应的基线模型，代码公开在此 https URL。

Jun, 2022

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

本研究提出了一种采用混合和分层深度学习模型进行中期负载预测的方法，该模型结合了指数平滑（ETS）、先进的长短期记忆（LSTM）和集成方法。模拟研究表明，该模型的性能非常高，竞争力强。

Mar, 2020

在这项工作中，我们反思了 Transformer 组件的能力，并重新设计了 Transformer 架构，而无需对基本组件进行任何调整。我们提出了 iTransformer 模型，这个模型通过反转注意力机制和前馈网络的职责，以实现对多变量时间序列的预测。iTransformer 模型在几个真实世界的数据集上取得了一致的最先进表现，进一步增强了 Transformer 家族的性能、广泛适用于不同变量、更好地利用任意回望窗口，成为时间序列预测的基本骨干的一个很好的替代方案。

Oct, 2023

建模序列数据中的长程依赖是序列学习中关键的一步，本研究提出了一种新模型 Structured State Space（S4），通过结构化状态空间模型在建模长程序列方面表现出了显著的有效性。与 S4 相比，本研究采用指数平滑（ETS）作为简单的状态空间模型，并将其直接融入逐元素 MLP 中，通过添加额外参数和复杂域来减少归纳偏差，虽然我们的模型仅比逐元素 MLP 增加了不到 1% 的参数，但在 LRA 基准测试上取得了可比较的结果。

Mar, 2024

深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

Oct, 2023

该论文提出了一种基于 Y-shaped 编码器 - 解码器结构的 Yformer 模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为 19.82％和 18.41％MSE 和 13.62％和 11.85％MAE。

Oct, 2021

通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

May, 2022