该论文表明时间序列预测转换器 (TSFT) 存在严重的过拟合问题，该问题是由于未知解码器输入的不当初始化方法引起的，特别是在处理非平稳时间序列时，该论文提出了 GBT，一种新的两阶段 Transformer 框架，将 TSFT 的预测过程分解成两个阶段，包括自回归阶段和自身回归阶段，以解决输入序列和预测序列之间的不同统计特性的问题。大量实验结果表明，GBT 具有预测能力，并且可以与其他模型力及其预测能力。

Jul, 2023

本文通过引入编码上下文并在条件生成对抗网络中使用，扩展了基于 Transformer 的时间序列生成对抗网络 (TTS-GAN)，从而可以使用一个模型来拟合具有多个子组件的混合分布。通过定性和定量的评估指标，我们展示了该模型可以生成高维度和长时间序列数据，并在不同条件下具有较好的性能。

Oct, 2022

本研究论文致力于提出一种大规模时间序列模型 (Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

Feb, 2024

通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024

时间序列生成（TSG）是在许多应用中不可或缺的一种关键技术，本文提出了一种针对数据稀缺情况的可控时间序列生成（CTSG）问题，并介绍了具有出色性能的 CTSG 框架 CTS 及其在生成高质量可控输出方面的应用。

Mar, 2024

该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

我们提出了通用时间转换器（GTT），这是一个仅基于编码器的风格基础模型，用于零样本多变量时间序列预测。实验结果表明，GTT 在未见过的时间序列数据集上展现出优越的预测能力，甚至超过了最先进的监督基线模型。此外，我们还研究了 GTT 模型参数和训练数据集规模变化的影响，观察到缩放定律在零样本多变量时间序列预测中也成立。

Feb, 2024

本文研究了高维空间内的张量时间序列数据，开发了一种新的预测框架 GMRL，能够更好地管理时间、位置和来源变量，并已在实际数据集上得到了验证

Jun, 2023

介绍了一种基于 transformer 的生成对抗网络用于扩充时间序列的数据大小，实现了能够生成与真实数据序列类似的合成时间序列数据。

Feb, 2022

本研究探索了带门控的 Transformer Networks 的时间序列分类问题，我们展示了 GTN 在多元时间序列分类任务上的自然有效性，并且在 13 个数据集上进行了实验证明 GTN 可以达到具有竞争力的结果。我们还探究了 GTN 的注意力图以提高时间序列建模的自然解释性。

Mar, 2021