Jun, 2024

大型时间序列模型训练中不同设计选择的理解

TL;DR基于大型语言模型(LLMs)的启发,时间序列预测(TSF)正在向基于Universal-Transformer的大型时间序列模型(LTSMs)过渡,旨在为TSF训练通用模型。然而,在异构时间序列数据上训练LTSMs面临着多样的挑战,包括数据集之间不同的频率,维度和模式。我们通过综合分析设计选择,并旨在确定训练LTSM的最佳实践。此外,我们提出了一种针对时间序列数据的新型统计提示策略称为“时间序列提示”。基于我们分析中的观察结果,我们引入了“LTSM-bundle”,该捆绑包绑定了我们确定的最佳设计选择。实证结果表明,“LTSM-bundle”在基准数据集上相比于最先进的LSTMs和传统的TSF方法具有卓越的零射击和少射击性能。