测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。
Aug, 2021
深度学习在时间序列预测方面取得了显著优势，然而在大流行预测领域仍存在挑战，如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术，并提供了进一步研究的建议。
Jan, 2024
本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。
Feb, 2022
深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。
Oct, 2023
通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。
Jul, 2022
本文提出了通过使用卷积神经网络和 Transformers 来捕捉时间序列中的短期和长期依赖，并用于预测股票价格变化，与传统的统计和深度学习方法相比，实验结果表明该方法取得了成功。
Apr, 2023
本文概述了深度学习建模在时序数据领域的应用，介绍了单步和多步预测中通用的编码器和解码器的设计，分析了每一种方法如何加入时间信息以提高预测结果。接下来，介绍了深度学习和统计模型的混合模型在时间序列预测中的最新进展，最后讨论了深度学习如何为决策支持提供便利。
Apr, 2020
我们提出了一种关注的联邦变压器，用于时间序列股票预测，在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。
通过对深度学习模型的训练模式进行广泛实验，在公共时间序列数据集上训练的多个 Transformer 模型中观察到了深度双下降现象，而通过使用更多的 epochs 可以减轻过拟合，取得了接近 72 个基准测试中 70% 的长序列时间序列预测的最新成果；此外，还提出了一个对训练模式修改进行分类的分类法，涵盖了数据增强、模型输入、模型目标、每个模型的时间序列和计算预算。
Nov, 2023
深度学习中基于 Transformer 和循环神经网络的顺序处理对于处理长序列数据和无限长度序列数据具有重要意义。
Feb, 2024