Oct, 2023

ARM：具有自适应时态上下文学习的多元预测优化

PDF
TL;DR长期时间序列预测面临处理复杂的时间 - 上下文关系的挑战，因此引入了 ARM 方法，该方法通过 Adaptive Univariate Effect Learning (AUEL)、Random Dropping (RD) 训练策略和 Multi-kernel Local Smoothing (MKLS) 来更好地处理个别时间序列模式并正确学习序列间的依赖关系。ARM 在多个基准测试中表现出优越性能，同时与传统 Transformer 相比，计算成本不显著增加，从而推动了 LTSF 的最新技术进展。
long-term time series forecastingmultivariate ltsf transformersarmadaptive univariate effect learninginter-series dependencies
发现论文，激发创造
  • 基于 Transformer 的长期时间序列预测的系统综述

    深度学习在时间序列预测方面取得了显著进展，其中 Transformer 架构在处理长序列的语义相关性方面表现出色。研究综述了 Transformer 架构及其改进方法在长期时间序列预测任务中的应用，总结了公开的长期时间序列预测数据集和评估指标，并提供了关于在时间序列分析中有效训练 transformers 的最佳实践和技术，最后提出了该领域的潜在研究方向。

    Oct, 2023

  • 一种基于 Transformer 的多变量时间序列框架：以剩余使用寿命预测为例

    提出了一种基于编码器 - Transformer 结构的多元时间序列预测框架，用于预测系统剩余可用寿命，与其他 13 种当前最先进模型相比，其性能提升了平均 137.65%。

    Aug, 2023

  • 时空线性：面向通用多元时间序列预测

    复杂多元时间序列预测中，通过简单的线性模型结构来整合时间嵌入和空间信息的 SpatioTemporal-Linear 框架优于深度学习技术中的线性模型和 Transformer 模型在多种观测和预测时长的数据集上的性能表现。

    Dec, 2023

  • 长期序列预测是否需要复杂注意力和更长输入？

    本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。

    Jun, 2023

  • 统一训练通用时间序列预测 Transformer

    我们提出了基于掩码编码器的通用时间序列预测变形器 Moirai，用于解决传统上仅限于一个数据集一个模型的深度学习时间序列预测框架的限制，利用大规模预先训练模型的革命性影响。通过在超过九个领域中提供的超过 270 亿次观测的大规模开放时间序列存档（LOTSA）上进行训练，Moirai 作为零 - shot 预测器实现了具有竞争力或更好的性能。

    Feb, 2024

  • 长期时间序列预测的线性专家混合模型

    使用 Mixture-of-Linear-Experts (MoLE) 方法可以降低线性中心模型的预测误差，并在大多数数据集和设置上实现最先进的长期时间序列预测结果。

    Dec, 2023

  • 跨变量线性集成增强变压器模型用于多元长期时间序列预测

    本研究设计了一个掩模时间序列实验来验证注意力模块在捕捉跨时间依赖方面的有效性，并提出了一种名为 Client 的先进模型，它采用线性模块学习趋势信息和注意力模块捕捉跨变量依赖关系，并将位置和解码器模块进行了简化，Client 通过加入非线性和跨变量依赖关系，使其与传统线性模型和基于 Transformer 的模型不同。实验发现，Client 在九个真实数据集上的表现最优，并且计算时间和内存消耗最少。

    May, 2023

  • 上下文时间序列预测器

    近期基于 Transformer 的大型语言模型展示了在提供的上下文情况下学习各种函数的能力，而无需更新模型参数。为了充分利用上下文能力进行时间序列预测问题，我们将 “时间序列预测任务” 重新构建为输入令牌，通过生成一系列（回顾，未来）对。该方法更加符合内在的上下文机制，并且在不使用预训练的大型语言模型参数的情况下更加参数高效。此外，它解决了现有基于 Transformer 的时间序列预测模型中的过拟合等问题，并在完整数据、少样本和零样本设置下始终比以前的架构表现更好。

    May, 2024

  • TimeCMA: 基于 LLM 的时间序列预测协同模态对齐

    基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。

    Jun, 2024

  • Transformer 在时间序列预测中是否有效？

    通过简单的线性模型实验发现在长期时间序列预测任务中，线性模型 LTSF-Linear 的效果优于复杂的基于 Transformer 方法，这引发人们对该任务以及其他时间序列分析任务中基于 Transformer 方法的有效性的反思。

    May, 2022