为了解决Transformer在长序列时间序列预测中的问题，我们设计了一种高效的基于Transformer的模型Informer，其具有ProbSparse自注意机制和生成式解码器等特点，在四个大规模数据集上显著优于现有方法。

Dec, 2020

本文系统地回顾了Transformer在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了Transformer在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结Transformer近期在时间序列数据建模领域进展的论文。

Feb, 2022

本文介绍了Transformer在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

GCformer能在处理长输入序列的同时，利用结构化全局卷积分支处理全局依赖关系并利用本地Transformer分支捕获近期的短时信号，该方法在六个基准数据集上实验表明GCformer的表现优于现有方法，尤其其全局卷积分支能够增强其他模型的性能，平均改进31.93％。

Jun, 2023

通过引入一种新颖的CNN模型——PatchMixer，我们解决了Transformer模型在时间序列预测任务中面临的挑战，该模型具有可以保留时间信息的排列不变自注意力机制。与传统CNN不同的是，我们的方法仅依赖于深度可分离卷积，可以在单一尺度的结构中提取局部特征和全局相关性。试验结果表明，与现有最先进的方法和表现最佳的CNN相比，PatchMixer相对提升了分别为3.9％和21.2％，而且速度是最先进方法的2-3倍。我们将发布我们的代码和模型。

Oct, 2023

在这项工作中，我们反思了Transformer组件的能力，并重新设计了Transformer架构，而无需对基本组件进行任何调整。我们提出了iTransformer模型，这个模型通过反转注意力机制和前馈网络的职责，以实现对多变量时间序列的预测。iTransformer模型在几个真实世界的数据集上取得了一致的最先进表现，进一步增强了Transformer家族的性能、广泛适用于不同变量、更好地利用任意回望窗口，成为时间序列预测的基本骨干的一个很好的替代方案。

Oct, 2023

深度学习在时间序列预测方面取得了显著进展，其中Transformer架构在处理长序列的语义相关性方面表现出色。研究综述了Transformer架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练transformers的最佳实践和技术，最后提出了该领域的潜在研究方向。

Oct, 2023

提出一种名为MultiResFormer的基于Transformer的模型，通过自适应选择最佳的patch长度来动态建模时间序列的变化，并在长期预测任务中优于基于patch的Transformer，同时使用比CNN基线更少的参数。

Nov, 2023

该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为Timely Generative Pre-trained Transformer的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局-局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结果在所有常用的多变量时间序列数据集上成立，并且SAMformer平均超过当前最先进模型TSMixer 14.33%，同时参数数量仅为其四分之一。

Feb, 2024