Nov, 2023

多层次时间序列变换器用于长期预测

PDF
TL;DR提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。
transformerstime-series forecastingpatch sizemulti-resolution time-series transformerrelative positional encoding
发现论文，激发创造
  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 多尺度变压器金字塔网络用于多变量时间序列预测

    使用多尺度 Transformer 的多变量时间序列预测中，引入了不变量嵌入技术用于捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。进一步，提出了一种新颖的 Multi-scale Transformer 金字塔网络 (MTPNet), 用于有效地捕捉多个不受约束尺度上的时间依赖。在九个基准数据集上的广泛实验证明，提出的 MTPNet 优于最新的先进方法。

    Aug, 2023

  • MultiResFormer：自适应多分辨率建模的转换器用于通用时间序列预测

    提出一种名为 MultiResFormer 的基于 Transformer 的模型，通过自适应选择最佳的 patch 长度来动态建模时间序列的变化，并在长期预测任务中优于基于 patch 的 Transformer，同时使用比 CNN 基线更少的参数。

    Nov, 2023

  • UniTST: 有效建模多变量时间序列预测中的系列内和系列间依赖关系

    通过提出一种名为 UniTST 的基于 Transformer 的模型，该模型含有统一的关注机制和调度模块，可以直接建模时间序列数据中的复杂依赖关系，并在多个数据集上展现了出色的性能。

    Jun, 2024

  • 基于 Transformer 的长期时间序列预测的系统综述

    深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

    Oct, 2023

  • 提升变压器的效率，用于多元时间序列分类

    提出了一种基于模块裁剪和 Pareto 分析的方法，旨在研究模型效率与准确性及其复杂性之间的关系，以设计一种有效的网络架构来减少计算成本，实验结果在基准 MTS 数据集上验证了该方法的有效性。

    Mar, 2022

  • 利用 2D 信息进行长期时间序列预测的 Vanilla Transformer

    通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

    May, 2024

  • 学习结构组件：面向模块化可解释的多元时间序列预测

    本文提出了一种模块化和可解释的预测框架 SCNN，可以分离时间序列数据中的结构和异构组成部分，并分别预测其演变。在三个实际数据集上的实验证明了 SCNN 可以胜过现有模型并具有更好的可追溯性和可预测性。

    May, 2023

  • 可解释的多时段时间序列预测的时间融合变压器

    介绍了一种名为 Temporal Fusion Transformer（TFT）的基于注意机制的新型深度学习模型，以高效且可解释的方式解决多步预测中存在的多个输入和时间动态性问题，在实际数据集上表现出显著的性能和可解释性。

    Dec, 2019

  • 时间建模转换器用于长期序列预测

    通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

    Jul, 2022