可扩展变换器用于高维多变量时间序列预测
本文提出了一种基于transformer的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。
Oct, 2020
本文研究关注机制在时间序列预测性能上的作用，提出MTS-Mixers来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。
Feb, 2023
本研究设计了一种特殊的Transformer模型，即通道对齐鲁棒的双重Transformer（CARD），以应对在时间序列预测中Transformer的关键缺点。我们通过引入双重Transformer的结构，使得CARD模型能够捕捉信号之间的时间相关性和多个变量随时间的动态依赖关系；同时引入了一种鲁棒性损失函数以减轻可能的过拟合问题。我们在多个长期和短期预测数据集上进行了评估，证明CARD模型明显优于当前最先进的时间序列预测方法，包括基于Transformer和MLP的模型。
May, 2023
使用多尺度Transformer的多变量时间序列预测中, 引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间, 同时保留时间步和变量维度。进一步, 提出了一种新颖的Multi-scale Transformer金字塔网络(MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明, 提出的MTPNet优于最新的先进方法。
Aug, 2023
我们介绍了CSformer模型，它通过精心设计的两阶段自注意机制实现了序列特定和通道特定信息的提取，并引入了序列适配器和通道适配器，以促进各个维度之间的协同和相互增强，从而显著提高了多变量时间序列数据的特征提取能力。
Dec, 2023
通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结果在所有常用的多变量时间序列数据集上成立，并且SAMformer平均超过当前最先进模型TSMixer 14.33%，同时参数数量仅为其四分之一。
Feb, 2024
提出了一种将全局信息注入通道独立Transformer模型的注入方法InjectTST，通过通道标识符、全局混合模块和自我上下文注意力模块选择性地将全局信息逐渐注入各个通道，实现了通道混合，实验证明InjectTST相比最先进的模型能够稳定提升预测性能。
Mar, 2024
利用分层概率生成模块和可变生成动态模型，Hierarchical Time series Variational Transformer (HTV-Trans) 恢复时间依赖性中的固有非平稳信息，实现对多变量时间序列（MTS）的预测任务。
Mar, 2024
我们的研究通过改进Transformer架构，提出了一种基于Patch机制和线性层的新型解决方案PDMLP，用于长期时间序列预测任务，并在多个真实数据集上实现了最先进的结果。
May, 2024
通过提出一种名为UniTST的基于Transformer的模型，该模型含有统一的关注机制和调度模块，可以直接建模时间序列数据中的复杂依赖关系，并在多个数据集上展现了出色的性能。
Jun, 2024