Oct, 2023

基于 Transformer 的长期时间序列预测的系统综述

PDF
TL;DR深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。
deep learningtime series forecastingtransformer architectureslong-term time series forecastingtraining transformers
发现论文，激发创造
  • Transformer 在时间序列预测中是否有效？

    通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

    May, 2022

  • 时间序列中的 Transformers: 一项综述

    本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。

    Feb, 2022

  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023

  • 实现长期时间序列预测：特征、模式和分布

    本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

    Jan, 2023

  • PETformer: 基于占位符增强的长期时间序列预测变压器

    该论文研究了在应用 Transformer 进行长期时间序列预测（LTSF）任务时的三个关键问题：时间连续性、信息密度和多通道关系，并提出了三种创新解决方案，构建了一种名为 PETformer 的新模型，通过广泛的实验证明 PETformer 在 LTSF 任务中取得了当前公共数据集上的最先进性能，优于其他所有现有模型，显示了 Transformer 在 LTSF 领域仍具有强大的能力。

    Aug, 2023

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 长期时间序列预测中的有效模型规模再思考

    通过条件相关性和自相关性作为研究工具，我们引入了一种轻量级的 HDformer 模型，该模型使用分层分解技术，不仅推翻了模型扩展的趋势，而且在大量减少计算和参数的同时实现了精确的长期时间序列预测，超越了现有的最先进模型，表明在长期时间序列预测中，模型的大小并不一定更好。

    Jan, 2024

  • 时间序列预测深度学习架构的实验综述

    本文研究旨在回顾深度学习在时间序列预测方面的应用，并比较其性能，结果表明长短时记忆网络（LSTM）和卷积神经网络（CNN）是最佳选择，其中 LSTM 获得最准确的预测结果，而 CNN 在不同参数配置下能够实现可比较的性能和更高的效率。

    Mar, 2021

  • 深度学习和基础模型在时间序列预测中的调查

    深度学习在时间序列预测方面取得了显著优势，然而在大流行预测领域仍存在挑战，如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术，并提供了进一步研究的建议。

    Jan, 2024

  • 长期序列预测是否需要复杂注意力和更长输入？

    本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。

    Jun, 2023