提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

Nov, 2023

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024

使用多尺度 Transformer 的多变量时间序列预测中，引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。进一步，提出了一种新颖的 Multi-scale Transformer 金字塔网络 (MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明，提出的 MTPNet 优于最新的先进方法。

Aug, 2023

该研究提出了一个名为 TSAT 的多元时间序列表示学习方法，使用动态图来表示时间信息和各变量间的相互关系，并将其应用于时间序列预测问题，实验证明 TSAT 的预测性能显著优于六种先进方法。

Aug, 2022

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

提出了一种基于模块裁剪和 Pareto 分析的方法，旨在研究模型效率与准确性及其复杂性之间的关系，以设计一种有效的网络架构来减少计算成本，实验结果在基准 MTS 数据集上验证了该方法的有效性。

Mar, 2022

该论文提出了一种线性复杂度的 U-Net 时间序列预测模型（UnetTSF），采用了 U-Net 架构，并首次使用 FPN 技术从时间序列数据中提取特征，替代了将时间序列数据分解为趋势和季节项的方法，同时设计了适用于时间序列数据的融合结构。在 8 个开源数据集上的测试中，相比最佳线性模型 DLiner，在 32 个测试项目中有 31 个获得最佳结果。平均 mse 减少了 10.1％，平均 mae 减少了 9.1％。与复杂的基于 Transformer 的 PatchTST 相比，UnetTSF 在 32 个测试项目中获得了 9 个 mse 的最优结果和 15 个 mae 的最优结果。

Jan, 2024

在这项工作中，我们反思了 Transformer 组件的能力，并重新设计了 Transformer 架构，而无需对基本组件进行任何调整。我们提出了 iTransformer 模型，这个模型通过反转注意力机制和前馈网络的职责，以实现对多变量时间序列的预测。iTransformer 模型在几个真实世界的数据集上取得了一致的最先进表现，进一步增强了 Transformer 家族的性能、广泛适用于不同变量、更好地利用任意回望窗口，成为时间序列预测的基本骨干的一个很好的替代方案。

Oct, 2023

复杂多元时间序列预测中，通过简单的线性模型结构来整合时间嵌入和空间信息的 SpatioTemporal-Linear 框架优于深度学习技术中的线性模型和 Transformer 模型在多种观测和预测时长的数据集上的性能表现。

Dec, 2023