TimeCMA: 基于 LLM 的时间序列预测协同模态对齐
利用大型语言模型和时间序列对齐框架,进行多元时间序列预测,同时充分发挥语言模型的潜力,建立了长期和短期预测的新的最先进方法。
Mar, 2024
利用大型语言模型进行时间序列预测的重新编程框架,通过在输入时间序列中加入文本原型,将两种模态对齐,进而获得强大的时间序列学习器 Time-LLM,该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。
Oct, 2023
提出了一种基于预训练模型的联邦时间序列预测模型 (Time-FFM),通过将时间序列转化为文本标记的形式来进行时间序列推理,并采用个性化联邦训练策略,取得了比现有方法更好的性能,有望实现有效的少样本和零样本预测。
May, 2024
本文研究了利用大型语言模型在可解释金融时间序列预测中的应用,使用股票价格数据、公司元数据和历史新闻等多模态信号,在 NASDAQ-100 股票上进行实验,结果显示与一些基准模型相比,使用 GPT-4 和 Open LLaMA 这类新型模型进行零样本 / 少样本推断并通过基于指令的微调生成可解释预测,优于经典的 ARMA-GARCH 模型和梯度提升树模型。
Jun, 2023
该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法,包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合,同时提供了现有的多模态时间序列和文本数据集的综合概述,并分析了该新兴领域的挑战和未来机会。
Feb, 2024
本研究提出了一种创新的框架 aLLM4TS,用于适应大型语言模型(LLMs)进行时间序列表示学习,并通过将时间序列预测重新构想为自监督的多补丁预测任务,比传统的遮罩和重建方法更有效地捕捉了补丁表示中的时间动态。我们的策略包括两个阶段的训练:(i)在各种时间序列数据集上基于下一个补丁预测进行因果连续预训练阶段,有效地将 LLM 的能力与时间序列数据的复杂性同步;(ii)在目标时间序列环境中进行多补丁预测的微调。我们框架的一个独特要素是基于补丁的解码层,摒弃了先前依赖序列级解码的方法。这种设计直接将各个补丁转换为时间序列,从而显著增强了模型在掌握基于时间补丁的表示方面的能力。aLLM4TS 在多个下游任务中表现出卓越性能,证明了它在提高传递性的时间表示方面的有效性,并在 LLMs 用于时间序列分析的适应性方面取得了重要进展。
Feb, 2024
大型语言模型在时间序列预测方面具有明显的优势和限制,尤其在具备明确模式和趋势的数据上,LLMs 表现出色,但在缺乏周期性的数据集上面临挑战。研究发现,引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。
Feb, 2024
基于大型语言模型(LLMs)的启发,时间序列预测(TSF)正在向基于 Universal-Transformer 的大型时间序列模型(LTSMs)过渡,旨在为 TSF 训练通用模型。然而,在异构时间序列数据上训练 LTSMs 面临着多样的挑战,包括数据集之间不同的频率,维度和模式。我们通过综合分析设计选择,并旨在确定训练 LTSM 的最佳实践。此外,我们提出了一种针对时间序列数据的新型统计提示策略称为 “时间序列提示”。基于我们分析中的观察结果,我们引入了 “LTSM-bundle”,该捆绑包绑定了我们确定的最佳设计选择。实证结果表明,“LTSM-bundle” 在基准数据集上相比于最先进的 LSTMs 和传统的 TSF 方法具有卓越的零射击和少射击性能。
Jun, 2024
我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力,通过结合时间序列拼接和时间编码,增强了 LLMs 处理时间序列数据的能力,采用两阶段的精调过程,并采用多种参数高效精调技术 (PEFT),LLM4TS 在长期预测方面取得了最先进的结果。
Aug, 2023
通过引入 Cross-variable Decorrelation Aware feature Modeling (CDAM) 和 Temporal correlation Aware Modeling (TAM) 技术,本研究提出了一种新的框架,通过最小化通道之间的冗余信息并增强相关的相互信息来改进 Channel-mixing 方法,在综合测试中明显超过了现有模型。
Mar, 2024