本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

Jan, 2023

该论文提出了一种基于 Y-shaped 编码器 - 解码器结构的 Yformer 模型，结合稀疏注意力和下采样上采样过程，通过在四个基准数据集上进行的实验结果显示，该模型相比当前最先进的模型在一元和多元场景下的平均改进率分别为 19.82％和 18.41％MSE 和 13.62％和 11.85％MAE。

Oct, 2021

本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

Aug, 2021

通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

Jul, 2022

本研究提出了一种名为增强解码器的新型训练方法，通过引入辅助模型生成备用解码器输入来解决多步骤时间序列预测中的累积误差问题，并利用强化学习算法动态选择最优输入以提高准确性。综合实验表明，该方法在多个数据集上优于常见训练方法。此外，该方法在基于自注意力的序列到序列预测模型中同样表现良好。

Jun, 2024

提出了一种基于多层感知器的编码器 - 解码器模型 TiDE，用于长期时间序列预测，实现了线性模型的简单和速度，同时还能处理协变量和非线性依赖关系。在理论上，我们证明了最简单的线性模型在某些假设下可以实现近似最优的误差率。在实验上，我们展示了我们的方法可以匹配或胜过以前的方法，在流行的长期时间序列预测基准测试中比最佳基于 Transformer 的模型快 5-10 倍。

Apr, 2023

在这项工作中，我们反思了 Transformer 组件的能力，并重新设计了 Transformer 架构，而无需对基本组件进行任何调整。我们提出了 iTransformer 模型，这个模型通过反转注意力机制和前馈网络的职责，以实现对多变量时间序列的预测。iTransformer 模型在几个真实世界的数据集上取得了一致的最先进表现，进一步增强了 Transformer 家族的性能、广泛适用于不同变量、更好地利用任意回望窗口，成为时间序列预测的基本骨干的一个很好的替代方案。

Oct, 2023

本文提出基于编码器 - 解码器范式的自动驾驶任务中，充分发挥编码器能力和增加解码器容量的方法，以及在预测车辆行为的同时提取安全关键区域信息，实现闭环自动驾驶，并在 CARLA simulator 上取得了优秀的表现。

May, 2023

本文提出了一种新颖的 Decoder-Encoder Attention 用于上下文对齐的神经预测方法，结合位置编码和基于自我注意的解码器方案，旨在改进当前最先进的前沿神经预测方法，并降低 MQ-Forecaster（Wen 等，2017）模型的过多预测变量。

Sep, 2020