本研究介绍了一种名为Autoformer的时间序列长期预测模型，它采用了一种新颖的基于自动相关性机制的分解体系结构，用于处理复杂时间序列，取得了超过现有最优结果38%的相对改进。

Jun, 2021

该论文提出了一种基于Y-shaped编码器-解码器结构的Yformer模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为19.82％和18.41％MSE和13.62％和11.85％MAE。

Oct, 2021

本研究提出了一种基于ETS的改进型Transformer架构——ETSFormer，通过引入指数平滑、曲线趋势拟合和频率部分的注意力机制和模块化分解来提高时间序列预测的准确性和效率，实现了对时间序列数据的分解和解释。

Feb, 2022

本研究提出了一种通用的多尺度框架，可应用于当前最先进的基于Transformer的时间序列预测模型，通过多尺度共享权重迭代地改进预测的时间序列，引入架构适应和特殊设计的标准化方案，可在不增加过多计算负担的情况下，将性能从5.5％提高到38.5％，详细的消融研究表明了每个贡献在架构和方法上的有效性，进一步证明了所提出的改进优于其对应的基线模型，代码公开在此https URL。

Jun, 2022

通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模Transformer-Dateformer，以提高Transformers模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

Jul, 2022

在这项工作中，我们反思了Transformer组件的能力，并重新设计了Transformer架构，而无需对基本组件进行任何调整。我们提出了iTransformer模型，这个模型通过反转注意力机制和前馈网络的职责，以实现对多变量时间序列的预测。iTransformer模型在几个真实世界的数据集上取得了一致的最先进表现，进一步增强了Transformer家族的性能、广泛适用于不同变量、更好地利用任意回望窗口，成为时间序列预测的基本骨干的一个很好的替代方案。

Oct, 2023

通过对深度学习模型的训练模式进行广泛实验，在公共时间序列数据集上训练的多个Transformer模型中观察到了深度双下降现象，而通过使用更多的epochs可以减轻过拟合，取得了接近72个基准测试中70%的长序列时间序列预测的最新成果；此外，还提出了一个对训练模式修改进行分类的分类法，涵盖了数据增强、模型输入、模型目标、每个模型的时间序列和计算预算。

Nov, 2023

提出一种名为MultiResFormer的基于Transformer的模型，通过自适应选择最佳的patch长度来动态建模时间序列的变化，并在长期预测任务中优于基于patch的Transformer，同时使用比CNN基线更少的参数。

Nov, 2023

通过引入Residual Cyclic Transformer (ReCycle)来解决长时间序列中注意力机制的计算复杂性，通过学习来自精细平滑平均技术的残差，ReCycle在各种应用场景中超过了最先进的准确性，同时降低了运行时间和能源消耗，使训练和推断在低性能、低功耗和边缘计算设备上成为可能。

May, 2024

本研究针对现有Transformer模型在长期时间序列预测中的不足，提出了sTransformer，结合序列和时间卷积网络（STCN）以及序列引导的掩码注意机制，从而有效捕捉序列间和时间信息，同时保持模块可扩展性。研究结果表明，该模型在长期时间序列预测任务上超过了现有先进模型，为时间序列任务提供了可靠的基线。

Aug, 2024