通过小波分析验证理论并提出基于 Transformer 的 TwinS 模型，通过 Wavelet Convolution、Period-Aware Attention 和 Channel-Temporal Mixed MLP 解决非平稳周期分布问题，在多元时间序列预测任务中比主流模型表现出 SOTA 性能。

Jun, 2024

利用分层概率生成模块和可变生成动态模型，Hierarchical Time series Variational Transformer (HTV-Trans) 恢复时间依赖性中的固有非平稳信息，实现对多变量时间序列（MTS）的预测任务。

Mar, 2024

我们提出了一种关注的联邦变压器，用于时间序列股票预测，在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。

Jan, 2024

在这项工作中，我们反思了 Transformer 组件的能力，并重新设计了 Transformer 架构，而无需对基本组件进行任何调整。我们提出了 iTransformer 模型，这个模型通过反转注意力机制和前馈网络的职责，以实现对多变量时间序列的预测。iTransformer 模型在几个真实世界的数据集上取得了一致的最先进表现，进一步增强了 Transformer 家族的性能、广泛适用于不同变量、更好地利用任意回望窗口，成为时间序列预测的基本骨干的一个很好的替代方案。

Oct, 2023

本研究针对 Transformer 在时间序列预测中所面临的累积误差和时延问题以及在空间 - 时间依赖性问题上的挑战，提出了一种新型的非自回归 Transformer 架构并引入了新颖的空间 - 时间关注机制，以学习到一个时间影响图来填补空间 - 时间依赖之间的差距，实验结果表明在多样化的自我中心未来定位数据集上，该模型具有表现优异的实时性和准确性。

Feb, 2021

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

Jan, 2023

通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结果在所有常用的多变量时间序列数据集上成立，并且 SAMformer 平均超过当前最先进模型 TSMixer 14.33%，同时参数数量仅为其四分之一。

Feb, 2024

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

通过结合 Unet 和 Mixer 的方法，U-Mixer 框架能够有效地捕捉不同补丁和通道之间的局部时间依赖关系，以避免通道之间分布变化的影响，并合并低级别和高级别特征以获取全面的数据表示，从而解决时间序列预测中的非平稳性挑战。该研究通过在多个实际时间序列数据集上进行广泛实验，证明了 U-Mixer 方法的有效性和鲁棒性，并在性能上超过了最先进的方法 14.5% 和 7.7%。

Jan, 2024