InjectTST: 将全局信息注入到独立通道的 Transformer 方法，用于长时间序列预测

Mar, 2024

InjectTST: 将全局信息注入到独立通道的 Transformer 方法，用于长时间序列预测

InjectTST: A Transformer Method of Injecting Global Information into Independent Channels for Long Time Series Forecasting

PDF

Ce Chi, Xing Wang, Kexin Yang, Zhiyan Song, Di Jin...

TL;DR提出了一种将全局信息注入通道独立 Transformer 模型的注入方法 InjectTST，通过通道标识符、全局混合模块和自我上下文注意力模块选择性地将全局信息逐渐注入各个通道，实现了通道混合，实验证明 InjectTST 相比最先进的模型能够稳定提升预测性能。

Abstract

transformer has become one of the most popular architectures for multivariate time series (MTS) forecasting. Recent transformer-based MTS models generally prefer channel-independent structures with the observatio

transformer multivariate time series forecasting channel independence channel mixing injecttst

发现论文，激发创造

UniTST: 有效建模多变量时间序列预测中的系列内和系列间依赖关系

通过提出一种名为 UniTST 的基于 Transformer 的模型，该模型含有统一的关注机制和调度模块，可以直接建模时间序列数据中的复杂依赖关系，并在多个数据集上展现了出色的性能。

Jun, 2024

MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

利用 2D 信息进行长期时间序列预测的 Vanilla Transformer

通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

基于互信息驱动的跨变量和时序建模的多元时间序列预测增强

通过引入 Cross-variable Decorrelation Aware feature Modeling (CDAM) 和 Temporal correlation Aware Modeling (TAM) 技术，本研究提出了一种新的框架，通过最小化通道之间的冗余信息并增强相关的相互信息来改进 Channel-mixing 方法，在综合测试中明显超过了现有模型。

Mar, 2024

一种轻量且准确的时空变换器用于交通预测

ST-TIS 提出一种基于 Transformer 的轻量级交通预测方法，结合信息融合和区域采样技术，能够高效地处理区域之间动态的空间和时间依赖关系，相对于现有方法，能够实现更高的预测精度和更快的离线训练速度。

Dec, 2021

多层次时间序列变换器用于长期预测

提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

Nov, 2023

重新思考多元时间序列预测的通道依赖性：从领先指标中学习

我们提出了一种名为 LIFT 的新方法，针对多元时间序列预测，它通过有效地估计领先指标并将领先指标的先行信息巧妙地应用于滞后变量，可以实现与任意时间序列预测方法的无缝合作，并在六个真实数据集上的大量实验证明，LIFT 在平均预测性能上提高了 5.5%。

Jan, 2024

MCformer：混合通道 Transformer 的多元时间序列预测

基于 Mixed Channels 策略，本文提出了 MCformer 作为一种混合通道特征的多变量时间序列预测模型，通过注意力机制有效捕捉了通道间相关信息从而在多变量时间序列预测任务中胜过了纯 CI 策略。

Mar, 2024

TSMixer：多元时间序列预测的轻量级 MLP-Mixer 模型

TSMixer 是一个轻量级的神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头，混合通道建模和简单的门控关注机制等组件，TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型，同时可显著减少存储器和运行时间。

Jun, 2023