本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

本研究旨在创建轻量级的相关时间序列预测模型，LightCTS 框架采用时间和空间运算符的简单堆叠，以及最后压缩方案，以提高计算效率，同时在单步和多步预测基准数据集上也表现出接近最先进的准确性。

Feb, 2023

本研究设计了一个掩模时间序列实验来验证注意力模块在捕捉跨时间依赖方面的有效性，并提出了一种名为 Client 的先进模型，它采用线性模块学习趋势信息和注意力模块捕捉跨变量依赖关系，并将位置和解码器模块进行了简化，Client 通过加入非线性和跨变量依赖关系，使其与传统线性模型和基于 Transformer 的模型不同。实验发现，Client 在九个真实数据集上的表现最优，并且计算时间和内存消耗最少。

May, 2023

多元时间序列预测中，深度学习应用发现，单变量模型常常优于多元模型。为解决多元模型的不足，我们引入一种构建辅助时间序列（CATS）的方法，它类似于二维时态上下文注意机制，从原始时间序列（OTS）中生成辅助时间序列（ATS），以有效地表示和整合序列间关系进行预测。ATS 的关键原则 - 连续性、稀疏性和变动性 - 通过不同模块进行了识别和实现。即使使用基本的两层 MLP 作为核心预测器，CATS 也实现了最先进的水平，显著减少了复杂性和参数，相较于以往的多元模型，标志着它是一种高效且可迁移的 MTSF 解决方案。

Mar, 2024

使用 Mixture-of-Linear-Experts (MoLE) 方法可以降低线性中心模型的预测误差，并在大多数数据集和设置上实现最先进的长期时间序列预测结果。

Dec, 2023

基于 Mixed Channels 策略，本文提出了 MCformer 作为一种混合通道特征的多变量时间序列预测模型，通过注意力机制有效捕捉了通道间相关信息从而在多变量时间序列预测任务中胜过了纯 CI 策略。

Mar, 2024

我们介绍了 CSformer 模型，它通过精心设计的两阶段自注意机制实现了序列特定和通道特定信息的提取，并引入了序列适配器和通道适配器，以促进各个维度之间的协同和相互增强，从而显著提高了多变量时间序列数据的特征提取能力。

Dec, 2023

通过提出一种名为 UniTST 的基于 Transformer 的模型，该模型含有统一的关注机制和调度模块，可以直接建模时间序列数据中的复杂依赖关系，并在多个数据集上展现了出色的性能。

Jun, 2024

本文提出了一种模块化和可解释的预测框架 SCNN，可以分离时间序列数据中的结构和异构组成部分，并分别预测其演变。在三个实际数据集上的实验证明了 SCNN 可以胜过现有模型并具有更好的可追溯性和可预测性。

May, 2023