Jan, 2024

长期时间序列预测中的有效模型规模再思考

PDF
TL;DR通过条件相关性和自相关性作为研究工具，我们引入了一种轻量级的 HDformer 模型，该模型使用分层分解技术，不仅推翻了模型扩展的趋势，而且在大量减少计算和参数的同时实现了精确的长期时间序列预测，超越了现有的最先进模型，表明在长期时间序列预测中，模型的大小并不一定更好。
long-term time series forecastingltsfhdformermodel complexityparsimony
发现论文，激发创造
  • Transformer 在时间序列预测中是否有效？

    通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

    May, 2022

  • 基于 Transformer 的长期时间序列预测的系统综述

    深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

    Oct, 2023

  • 长期序列预测是否需要复杂注意力和更长输入？

    本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。

    Jun, 2023

  • 实现长期时间序列预测：特征、模式和分布

    本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

    Jan, 2023

  • 大型时间序列模型的尺度定律

    基于大规模语言模型的缩放定律已经在如何训练规模更大的模型以获得可预测的性能提升上提供了有用的指导。该研究表明，基于解码器的时间序列变换模型也展示了与语言模型类似的缩放行为，对于广泛范围内的架构细节（纵横比和头数）几乎没有影响。我们汇集了大量的异构时间序列数据进行训练，并首次建立了参数数量、数据集大小和训练计算量与其之间的幂律缩放关系，涵盖了五个数量级。

    May, 2024

  • PETformer: 基于占位符增强的长期时间序列预测变压器

    该论文研究了在应用 Transformer 进行长期时间序列预测（LTSF）任务时的三个关键问题：时间连续性、信息密度和多通道关系，并提出了三种创新解决方案，构建了一种名为 PETformer 的新模型，通过广泛的实验证明 PETformer 在 LTSF 任务中取得了当前公共数据集上的最先进性能，优于其他所有现有模型，显示了 Transformer 在 LTSF 领域仍具有强大的能力。

    Aug, 2023

  • 多维时间序列预测的自适应图卷积网络框架

    通过将自适应图卷积网络集成到各种空间时序预测模型中，以解决多维预测中维度之间的关系难以捕捉的问题，并进行了多个数据集的实验测试，证明我们的建议框架在模型中引入后，其准确率提高了约 10%。

    May, 2022

  • 时间建模转换器用于长期序列预测

    通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

    Jul, 2022

  • Scaleformer: 迭代多尺度细化 Transformers 进行时间序列预测

    本研究提出了一种通用的多尺度框架，可应用于当前最先进的基于 Transformer 的时间序列预测模型，通过多尺度共享权重迭代地改进预测的时间序列，引入架构适应和特殊设计的标准化方案，可在不增加过多计算负担的情况下，将性能从 5.5％提高到 38.5％，详细的消融研究表明了每个贡献在架构和方法上的有效性，进一步证明了所提出的改进优于其对应的基线模型，代码公开在此 https URL。

    Jun, 2022

  • 跨变量线性集成增强变压器模型用于多元长期时间序列预测

    本研究设计了一个掩模时间序列实验来验证注意力模块在捕捉跨时间依赖方面的有效性，并提出了一种名为 Client 的先进模型，它采用线性模块学习趋势信息和注意力模块捕捉跨变量依赖关系，并将位置和解码器模块进行了简化，Client 通过加入非线性和跨变量依赖关系，使其与传统线性模型和基于 Transformer 的模型不同。实验发现，Client 在九个真实数据集上的表现最优，并且计算时间和内存消耗最少。

    May, 2023