May, 2024

SparseTSF: 长期时间序列预测的 1k 参数建模

PDF
TL;DRSparseTSF 是一种全新的、极其轻量级的用于长期时间序列预测（LTSF）的模型，通过最小化计算资源，解决了在扩展时间范围内对复杂时间依赖性进行建模的挑战。SparseTSF 的核心是交叉周期稀疏预测技术，通过降采样序列来专注于交叉周期趋势预测，有效提取周期特征并减小模型复杂性和参数数量。基于该技术，SparseTSF 模型使用少于 1k 个参数实现了与最先进模型相媲美或更优的性能。此外，SparseTSF 展示了显著的泛化能力，适用于计算资源有限、样本较少或质量较低的情境。
sparsetsflong-term time series forecastingcross-period sparse forecastingcomputational resourcesgeneralization capabilities
发现论文，激发创造
  • 长期序列预测是否需要复杂注意力和更长输入？

    本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。

    Jun, 2023

  • 长期时间序列预测中的有效模型规模再思考

    通过条件相关性和自相关性作为研究工具，我们引入了一种轻量级的 HDformer 模型，该模型使用分层分解技术，不仅推翻了模型扩展的趋势，而且在大量减少计算和参数的同时实现了精确的长期时间序列预测，超越了现有的最先进模型，表明在长期时间序列预测中，模型的大小并不一定更好。

    Jan, 2024

  • 一种面向边缘计算的在线时间序列预测的新型高维计算框架

    将非线性低维时间序列数据映射到高维空间进行线性高维预测，以实现快速、高效和轻量级的在线时间序列预测，并使用新颖的联合训练框架适应时间序列分布的变化。TSF-HD 在短期和长期时间序列预测中表现出优越性能，推理延迟较小。

    Feb, 2024

  • DeepTSF: 无代码的时间序列预测机器学习运营

    DeepTSF 是一款全面的机器学习操作（MLOps）框架，通过工作流自动化和无代码建模来创新时间序列预测。

    Jul, 2023

  • LightCTS: 一种用于相关时间序列预测的轻量级框架

    本研究旨在创建轻量级的相关时间序列预测模型，LightCTS 框架采用时间和空间运算符的简单堆叠，以及最后压缩方案，以提高计算效率，同时在单步和多步预测基准数据集上也表现出接近最先进的准确性。

    Feb, 2023

  • Transformer 在时间序列预测中是否有效？

    通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

    May, 2022

  • 基于 Transformer 的长期时间序列预测的系统综述

    深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

    Oct, 2023

  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 轻采样导向的 MLP 结构在多元时间序列快速预测中的应用

    本文介绍了 LightTS，一种基于简单的 MLP 结构和两种精细的下采样策略的轻量级深度学习架构，用于多元时间序列预测，它具有高效、鲁棒和与先前 SOTA 方法相比更好的性能优势。

    Jul, 2022

  • 跨变量线性集成增强变压器模型用于多元长期时间序列预测

    本研究设计了一个掩模时间序列实验来验证注意力模块在捕捉跨时间依赖方面的有效性，并提出了一种名为 Client 的先进模型，它采用线性模块学习趋势信息和注意力模块捕捉跨变量依赖关系，并将位置和解码器模块进行了简化，Client 通过加入非线性和跨变量依赖关系，使其与传统线性模型和基于 Transformer 的模型不同。实验发现，Client 在九个真实数据集上的表现最优，并且计算时间和内存消耗最少。

    May, 2023