该论文提出了一种基于Y-shaped编码器-解码器结构的Yformer模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为19.82％和18.41％MSE和13.62％和11.85％MAE。

Oct, 2021

本文系统地回顾了Transformer在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了Transformer在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结Transformer近期在时间序列数据建模领域进展的论文。

Feb, 2022

通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型LTSF-Linear的效果优于复杂的基于Transformer方法，这引发人们对该任务以及其他时间序列分析任务中基于Transformer方法的有效性的反思。

May, 2022

本研究提出一种基于Transformer架构的时间序列预测方法，称为持续初始化。该方法在M4数据集上与传统集合方法相比表现良好，且当模型大小增加时，仅我们提出的这种适应性架构才能提高性能，使用旋转编码和ReZero归一化对于良好的预测表现则至关重要。

Aug, 2022

本文介绍了Transformer在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

深度学习在时间序列预测方面取得了显著进展，其中Transformer架构在处理长序列的语义相关性方面表现出色。研究综述了Transformer架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练transformers的最佳实践和技术，最后提出了该领域的潜在研究方向。

Oct, 2023

通过对深度学习模型的训练模式进行广泛实验，在公共时间序列数据集上训练的多个Transformer模型中观察到了深度双下降现象，而通过使用更多的epochs可以减轻过拟合，取得了接近72个基准测试中70%的长序列时间序列预测的最新成果；此外，还提出了一个对训练模式修改进行分类的分类法，涵盖了数据增强、模型输入、模型目标、每个模型的时间序列和计算预算。

Nov, 2023

提出一种名为MultiResFormer的基于Transformer的模型，通过自适应选择最佳的patch长度来动态建模时间序列的变化，并在长期预测任务中优于基于patch的Transformer，同时使用比CNN基线更少的参数。

Nov, 2023

长期时间序列预测中，通过基于约束学习的方法在平均性能表现上找到最佳模型，以保持在每个时间步上的损失约束，从而塑造预测窗口中的误差分布。

Feb, 2024

通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结果在所有常用的多变量时间序列数据集上成立，并且SAMformer平均超过当前最先进模型TSMixer 14.33%，同时参数数量仅为其四分之一。

Feb, 2024