TSMixer: 一种基于全 MLP 的时间序列预测架构

Mar, 2023

TSMixer: 一种基于全 MLP 的时间序列预测架构

TSMixer: An all-MLP Architecture for Time Series Forecasting

Si-An Chen, Chun-Liang Li, Nate Yoder, Sercan O. Arik, Tomas Pfister

TL;DR本文研究线性模型在时间序列预测中的能力，提出了一个基于多层感知机的模型 TSMixer，通过在时间和特征维度上的混合操作提取信息。TSMixer 在常见的学术基准测试中表现出和专业模型类似的性能，在真实世界的 M5 基准测试数据集上表现出比先进模型更好的性能。本文的结果强调了有效利用交叉变量和辅助信息以提高时间序列预测性能的重要性，并且预计 TSMixer 的设计范例会为基于深度学习的时间序列预测开启新的视野。

Abstract

Real-world time-series datasets are often multivariate with complex dynamics. Commonly-used high capacity architectures like recurrent- or attention-based sequential models have become popular. However, recent work demonstrates that simple univariate →

time series linear models tsmixer multivariate forecasting

发现论文，激发创造

TSMixer：多元时间序列预测的轻量级 MLP-Mixer 模型

TSMixer 是一个轻量级的神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头，混合通道建模和简单的门控关注机制等组件，TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型，同时可显著减少存储器和运行时间。

Jun, 2023

多维时间序列预测的随机投影层

我们提出了一种名为 RPMixer 的全多层感知机时间序列预测架构，通过将随机投影层集成到模型中，增强了其整体性能，并在大规模时空预测基准数据集上展开的广泛实验表明，我们的方法优于其他方法，包括时空图模型和一般预测模型。

Feb, 2024

WindowMixer：时间序列预测中的窗口内和窗口间建模

基于全 MLP 框架，WindowMixer 模型通过窗口视角检查时间序列的时间变化，将时间序列分解为趋势和季节性组件，并使用 Intra-Window-Mixer 和 Inter-Window-Mixer 模块处理窗口间和窗口内的关系，从而捕捉数据中的复杂模式和长期依赖关系，实验证明 WindowMixer 在长期和短期预测任务中始终优于现有方法。

Jun, 2024

TimeMixer：可分解的多尺度混合用于时间序列预测

利用多尺度混合的方法进行时间序列预测，通过提取微观和宏观信息来解决复杂的时间变化，并通过 Past-Decomposable-Mixing (PDM) 和 Future-Multipredictor-Mixing (FMM) 块实现全面的多尺度系列的预测，同时在长期和短期预测任务中取得了一致的最先进性能，并具有良好的运行时效率。

May, 2024

MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

PatchMixer：长期时间序列预测的补丁混合架构

通过引入一种新颖的 CNN 模型 ——PatchMixer，我们解决了 Transformer 模型在时间序列预测任务中面临的挑战，该模型具有可以保留时间信息的排列不变自注意力机制。与传统 CNN 不同的是，我们的方法仅依赖于深度可分离卷积，可以在单一尺度的结构中提取局部特征和全局相关性。试验结果表明，与现有最先进的方法和表现最佳的 CNN 相比，PatchMixer 相对提升了分别为 3.9％和 21.2％，而且速度是最先进方法的 2-3 倍。我们将发布我们的代码和模型。

Oct, 2023

提升 BizITOps 数据的多变量时间序列预测的自动混合器

利用 AutoMixer 模型对 Biz-KPI 进行预测，提高了预测准确性，并产生实用的商业见解。

Oct, 2023

TTMs：用于提升多变量时间序列的零样本和少样本预测的快速多层微型时间混合器

利用预训练模型进行时间序列预测方面的研究，提出了 Multi-level Tiny Time Mixers（TTM）方法，通过小型模型、自适应补丁、数据增强和分辨率前缀调整来有效地模拟跨通道相关性和整合外部信号，实现了显著的准确性提升和参数规模大幅减小。

Jan, 2024

多尺度分解 MLP-Mixer 用于时序分析

提出了一种名为 MSD-Mixer 的多尺度分解 MLP-Mixer 模型，该模型通过学习将时间序列分解成不同的组成部分，并在不同层级上表示这些组成部分，以处理多尺度时间模式和通道间的依赖关系。通过在各种实际数据集上进行广泛实验，包括长期和短期预测、插补、异常检测和分类等五个常见时间序列分析任务，证明了 MSD-Mixer 在性能上明显优于其他最先进的任务通用和任务特定方法。

Oct, 2023

U-Mixer: 一种带有站点校正的时间序列预测 Unet-Mixer 结构

通过结合 Unet 和 Mixer 的方法，U-Mixer 框架能够有效地捕捉不同补丁和通道之间的局部时间依赖关系，以避免通道之间分布变化的影响，并合并低级别和高级别特征以获取全面的数据表示，从而解决时间序列预测中的非平稳性挑战。该研究通过在多个实际时间序列数据集上进行广泛实验，证明了 U-Mixer 方法的有效性和鲁棒性，并在性能上超过了最先进的方法 14.5% 和 7.7%。

Jan, 2024