Jan, 2023

实现长期时间序列预测：特征、模式和分布

PDF
TL;DR本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。
long-term time-series forecastingtransformer modelsencoder-decoder architectureinformation utilizationuncertainty quantification
发现论文，激发创造
  • Informer：用于长序列时间序列预测的高效 Transformer

    为了解决 Transformer 在长序列时间序列预测中的问题，我们设计了一种高效的基于 Transformer 的模型 Informer，其具有 ProbSparse 自注意机制和生成式解码器等特点，在四个大规模数据集上显著优于现有方法。

    Dec, 2020

  • Transformer 在时间序列预测中是否有效？

    通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

    May, 2022

  • 基于 Transformer 的长期时间序列预测的系统综述

    深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

    Oct, 2023

  • 长期序列预测是否需要复杂注意力和更长输入？

    本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。

    Jun, 2023

  • 多维时间序列预测的自适应图卷积网络框架

    通过将自适应图卷积网络集成到各种空间时序预测模型中，以解决多维预测中维度之间的关系难以捕捉的问题，并进行了多个数据集的实验测试，证明我们的建议框架在模型中引入后，其准确率提高了约 10%。

    May, 2022

  • 使用结构化矩阵增强的 X 转换器进行长序列时间序列预测

    通过引入 Surrogate Attention Blocks 和 Surrogate FFN Blocks，提出了一种新颖的针对长序列时间序列预测问题的 Transformer 模型的架构设计，以提高模型的效率而不牺牲准确性。在涵盖了九个基于 Transformer 的模型的五个时间序列任务的广泛实验中，观察到平均性能提高了 9.45％，同时模型的大小降低了 46％。

    May, 2024

  • 时间建模转换器用于长期序列预测

    通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

    Jul, 2022

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 基于 Transformer 的时间序列符合预测

    利用 Transformer 架构的符合预测方法通过捕捉长期记忆和长程依赖，以 Transformer 解码器作为条件分位数估计器来预测预测残差的分位数，从而估计预测区间，并通过综合实验证明该方法在模拟和真实数据上相较于现有的符合预测方法具有更好的性能。

    Jun, 2024

  • 具有注意力联邦聚合的时间序列股票预测的 Transformer

    我们提出了一种关注的联邦变压器，用于时间序列股票预测，在保护参与企业的隐私的同时具备更好的性能。关于从雅虎金融网站获取的各种股票数据的实证结果显示了我们提出的方案在处理上述挑战和联邦学习中的数据异质性方面的优越性。

    Jan, 2024