提出了非平稳 Transformer，通过序列平稳化和去平稳化注意力机制恢复内在非平稳信息，极大地提高了主流 Transformer 模型的性能，使它们成为时间序列预测领域的最佳模型。

May, 2022

利用分层概率生成模块和可变生成动态模型，Hierarchical Time series Variational Transformer (HTV-Trans) 恢复时间依赖性中的固有非平稳信息，实现对多变量时间序列（MTS）的预测任务。

Mar, 2024

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

该研究综合了小波分析技术与机器学习方法，针对单变量时间序列预测提出了三个主要贡献：考虑使用带有不同消失矩的 Daubechies 小波作为非时态和时态预测方法的输入特征；比较非分解小波变换和非分解小波包变换在计算这些特征时的使用情况；在更广泛的预测方法上评估这些小波特征的应用，包括时态和非时态模型以及统计学和基于深度学习的方法，结果表明在一步向前预测的所有非时态方法中，用小波特征替换高阶滞后特征具有显著的益处，在长期预测的时态深度学习模型中，将小波特征用作输入则存在一定的效益。

Mar, 2024

本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

Jan, 2023

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

通过结合 Unet 和 Mixer 的方法，U-Mixer 框架能够有效地捕捉不同补丁和通道之间的局部时间依赖关系，以避免通道之间分布变化的影响，并合并低级别和高级别特征以获取全面的数据表示，从而解决时间序列预测中的非平稳性挑战。该研究通过在多个实际时间序列数据集上进行广泛实验，证明了 U-Mixer 方法的有效性和鲁棒性，并在性能上超过了最先进的方法 14.5% 和 7.7%。

Jan, 2024

现有的数字孪生都依赖于基于数据的黑盒模型，主要使用深度神经网络来捕捉化学系统的动态，然而，由于安全和操作问题，这些模型尚未在实践中得以应用，为了解决这个问题，将基于物理学原理的混合模型与机器学习模型相结合已经越来越受欢迎，具有较强的预测性能，因此，为批次结晶开发了一种基于时间序列变压器的混合框架，通过与传统黑盒模型相比，该框架展示了更好的准确性和可解释性，未来预计基于注意力机制的混合模型将在化学制造业的发展中发挥关键作用。

Jul, 2023

使用多尺度 Transformer 的多变量时间序列预测中，引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。进一步，提出了一种新颖的 Multi-scale Transformer 金字塔网络 (MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明，提出的 MTPNet 优于最新的先进方法。

Aug, 2023

通过提出一种名为 UniTST 的基于 Transformer 的模型，该模型含有统一的关注机制和调度模块，可以直接建模时间序列数据中的复杂依赖关系，并在多个数据集上展现了出色的性能。

Jun, 2024