本研究提出了一种通用的多尺度框架，可应用于当前最先进的基于 Transformer 的时间序列预测模型，通过多尺度共享权重迭代地改进预测的时间序列，引入架构适应和特殊设计的标准化方案，可在不增加过多计算负担的情况下，将性能从 5.5％提高到 38.5％，详细的消融研究表明了每个贡献在架构和方法上的有效性，进一步证明了所提出的改进优于其对应的基线模型，代码公开在此 https URL。

Jun, 2022

提出一种名为 MultiResFormer 的基于 Transformer 的模型，通过自适应选择最佳的 patch 长度来动态建模时间序列的变化，并在长期预测任务中优于基于 patch 的 Transformer，同时使用比 CNN 基线更少的参数。

Nov, 2023

使用多尺度 Transformer 的多变量时间序列预测中，引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。进一步，提出了一种新颖的 Multi-scale Transformer 金字塔网络 (MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明，提出的 MTPNet 优于最新的先进方法。

Aug, 2023

通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

Jul, 2022

提出了一种名为 FormerTime 的模型，结合特征金字塔和 Transformers 模型，解决了时间序列分类中长期依赖性建模和计算效率的问题，并在 10 个 UEA 存档数据集上获得了比竞争基线更好的分类性能。

Feb, 2023

使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

Nov, 2023

Patchformer 是一种整合了补丁嵌入 (patch embedding) 和编码 - 解码式 Transformer 架构的新型模型，用于解决现有基于 Transformer 的模型在长期预测中难以应对复杂时间模式的问题，通过将多元时间序列数据分解为多个单元数据并将其分割为多个补丁，Patchformer 有效地提高了模型捕捉局部和全局语义依赖性的能力，数值分析表明，在新颖的多能源数据集和其他基准数据集上，Patchformer 在多元和单元长期预测中均能够获得更好的准确性，此外，研究还发现了能源相关产品之间相互依赖对 Patchformer 和其他对比模型长期时间序列预测性能的积极影响，以及 Patchformer 相对于其他模型的优越性，这在处理长期多能源预测的相互依赖性和复杂性方面具有重大的进展，最后，Patchformer 作为唯一一个模型跟踪过去序列长度与模型性能之间的正相关关系，突出了其捕捉长程过去局部语义信息的能力。

Apr, 2024

事件预测是基于历史事件序列预测未来事件的时间和类型，本论文提出了针对非规则时间事件数据的跨时空尺度变换器（XTSFormer），包括新颖的基于特征的周期感知时间位置编码（FCPE）和分层多尺度时间注意机制。在多个真实世界数据集上的广泛实验表明，XTSFormer 在预测性能方面优于几种基准方法。

Feb, 2024

使用多尺度超图转换器（MSHyper）框架，提出了一种更全面的模式交互建模方法，通过引入多尺度超图和超边图来建模高阶模式交互，同时引入三阶段消息传递机制来聚合模式信息和学习不同尺度时间模式之间的交互强度。实验证明，MSHyper 在五个真实世界数据集上取得了最先进的性能，相对于最佳基线方法，在均方误差和平均绝对误差分别平均减少了 8.73% 和 7.15% 的预测误差。

Jan, 2024

Warpformer 是一种全新的方法，考虑了多元时间序列的内部不规则性和不同序列之间的差异，通过设计特殊的输入表示，变形模块和注意力模块，生成多尺度表示，用于各种下游任务。

Jun, 2023