TimeNet是一个基于循环神经网络的深度非监督学习模型，使用序列到序列模型从多个时间序列中提取特征，可用作时间序列的通用特征提取器，并且通过实验证明，使用TimeNet特征提取器训练的分类器能够显著提高分类效果。

Jun, 2017

本文提出了R-Transformer模型，结合了RNN和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer优于最先进的方法。

Jul, 2019

为了解决Transformer在长序列时间序列预测中的问题，我们设计了一种高效的基于Transformer的模型Informer，其具有ProbSparse自注意机制和生成式解码器等特点，在四个大规模数据集上显著优于现有方法。

Dec, 2020

测试和评估在时间序列数据上应用Transformer模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

Aug, 2021

本文介绍了Transformer在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

Apr, 2023

使用多尺度Transformer的多变量时间序列预测中, 引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间, 同时保留时间步和变量维度。进一步, 提出了一种新颖的Multi-scale Transformer金字塔网络(MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明, 提出的MTPNet优于最新的先进方法。

Aug, 2023

该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为Timely Generative Pre-trained Transformer的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局-局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

提出了一种名为“Time-Transformer AAE”的新型时间序列生成模型，该模型能够有效地学习时间序列数据的局部和全局特性，并具有数据增强的能力来支持使用小型和不平衡的数据集进行学习。

Dec, 2023

本文介绍了ConvTimeNet，这是一个新型的深层分层全卷积网络，旨在作为时间序列分析的通用模型。该网络的关键设计从两个方面入手，旨在克服传统卷积网络的局限性。第一，我们提出了将时间序列自适应分割为子序列级的补丁，并将其作为基本建模单元，避免了与原始点级时间步长相关的稀疏语义。第二，我们设计了一个完全卷积块，巧妙地集成了深度卷积和点卷积操作，采用Transformer编码器中使用的先进建模风格，使得该主干网络能够有效捕捉全局序列和跨变量依赖，因为它不仅融入了Transformer架构的进展，还继承了卷积的固有属性。此外，通过灵活控制核大小，可以学习给定时间序列实例的多尺度表示。我们在时间序列预测和分类任务上进行了广泛的实验。结果在大多数情况下在有效性方面始终优于强基线。代码已公开发布。

Mar, 2024

本研究针对现有Transformer模型在长期时间序列预测中的不足，提出了sTransformer，结合序列和时间卷积网络（STCN）以及序列引导的掩码注意机制，从而有效捕捉序列间和时间信息，同时保持模块可扩展性。研究结果表明，该模型在长期时间序列预测任务上超过了现有先进模型，为时间序列任务提供了可靠的基线。

Aug, 2024