基于变分层次 Transformer 的多元时间序列中的非平稳考量与预测

AAAIMar, 2024

基于变分层次 Transformer 的多元时间序列中的非平稳考量与预测

Considering Nonstationary within Multivariate Time Series with Variational Hierarchical Transformer for Forecasting

Muyao Wang, Wenchao Chen, Bo Chen

TL;DR利用分层概率生成模块和可变生成动态模型，Hierarchical Time series Variational Transformer (HTV-Trans) 恢复时间依赖性中的固有非平稳信息，实现对多变量时间序列（MTS）的预测任务。

Abstract

The forecasting of multivariate time series (MTS) has long been an important but challenging task. Due to the non-stationary problem across long-distance time steps, previous studies primarily adopt stationarization met

multivariate time series stationarization method hierarchical probabilistic generative module variational generative dynamic model mts forecasting

发现论文，激发创造

非平稳变压器：探索时间序列预测中的平稳性

提出了非平稳 Transformer，通过序列平稳化和去平稳化注意力机制恢复内在非平稳信息，极大地提高了主流 Transformer 模型的性能，使它们成为时间序列预测领域的最佳模型。

May, 2022

TwinS: 重思多元时间序列预测中的非平稳性

通过小波分析验证理论并提出基于 Transformer 的 TwinS 模型，通过 Wavelet Convolution、Period-Aware Attention 和 Channel-Temporal Mixed MLP 解决非平稳周期分布问题，在多元时间序列预测任务中比主流模型表现出 SOTA 性能。

Jun, 2024

多尺度变压器金字塔网络用于多变量时间序列预测

使用多尺度 Transformer 的多变量时间序列预测中，引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。进一步，提出了一种新颖的 Multi-scale Transformer 金字塔网络 (MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明，提出的 MTPNet 优于最新的先进方法。

Aug, 2023

基于动态高斯混合的深度生成模型，用于稀疏多元时间序列的鲁棒预测

提出了一种基于生成模型的方法，使用动态高斯混合分布跟踪潜在群集的过渡，实现了时间序列的强大建模，具有参数化的神经网络和结构化推理网络，并引入了一个门控机制来动态调整高斯混合分布。

Mar, 2021

学习结构组件：面向模块化可解释的多元时间序列预测

本文提出了一种模块化和可解释的预测框架 SCNN，可以分离时间序列数据中的结构和异构组成部分，并分别预测其演变。在三个实际数据集上的实验证明了 SCNN 可以胜过现有模型并具有更好的可追溯性和可预测性。

May, 2023

多元时间序列预测的进展：全面基准测试和异质性分析

使用 BasicTS 基准测试来解决多元时间序列预测中公正对比问题，并通过对丰富的多元时间序列数据集进行详尽的性能和效率比较，为研究人员选择和设计多元时间序列预测模型提供洞见。

Oct, 2023

MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

多层次时间序列变换器用于长期预测

提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

Nov, 2023

利用 2D 信息进行长期时间序列预测的 Vanilla Transformer

通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022