利用大型语言模型进行时间序列预测的重新编程框架,通过在输入时间序列中加入文本原型,将两种模态对齐,进而获得强大的时间序列学习器Time-LLM,该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。
Oct, 2023
该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法,包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合,同时提供了现有的多模态时间序列和文本数据集的综合概述,并分析了该新兴领域的挑战和未来机会。
Feb, 2024
通过利用大型语言模型,研究利用自回归时间序列预测模型(AutoTimes)处理时间序列数据,该模型利用基于语言建模学习的通用令牌转换,具备灵活的系列长度和较高的性能。
当前大语言模型在时间序列分析领域的潜力和发展前景
对利用大型语言模型(LLMs)进行时间序列分析的现有方法进行了系统概述,总结了基于LLM的时间序列分析的一般流程,并探讨了未来的研究机会。
提出了一个评估大型语言模型(LLM)在时间序列理解方面能力的框架,包括单变量和多变量形式;通过研究时间序列的特征以及设计和合成数据集来评估LLMs在时间序列理解方面的能力,并揭示了LLMs对数据格式、查询数据的位置和时间序列长度等因素的敏感性。
Apr, 2024
在大型语言模型中,尤其是在时间序列预测方面,进行了一系列消融研究,发现移除语言模型组件或用基本的注意力层替换并不降低预测结果,甚至在大多数情况下结果有所提升。此外,预训练的语言模型并不比从头开始训练的模型更好,不能准确表示时间序列中的顺序依赖关系,也不能在小样本场景中提供帮助。同时,研究了时间序列编码器,揭示了贴片和注意力结构与基于最新技术的LLM的预测模型效果相似。
Jun, 2024
本研究解决了大型语言模型(LLMs)在时间序列异常检测方面的不足,探讨了LLMs是否能检测和解释时间序列异常。在设计了上下文学习和思维链提示策略后,GPT-4能够有效识别异常,并与基线方法竞争。此外,我们提出了一种合成数据集来自动生成时间序列异常及其解释,并通过指令微调提升了LLaMA3在异常检测任务中的表现。研究表明,LLMs在时间序列异常检测方面具有良好的潜力。
Aug, 2024
本研究探讨了大型语言模型(LLMs)在时间序列预测中的应用,重点分析了LLMTIME模型。研究显示,尽管LLMs在生成文本、翻译和情感分析等任务中表现良好,但在处理复杂时间序列数据时,其预测准确性显著下降,尤其是当数据包含周期性和趋势成分时。这一发现强调了针对时间序列的LLMs的局限性和面临的挑战。
本研究针对大型语言模型(LLMs)在时间序列分析中的应用效果进行了深入实验,发现与简单的线性回归模型相比,LLMs在预测、分类、填补和异常检测等核心任务中表现无明显优势,甚至可能扭曲数据的时间结构。研究表明,时间序列数据的内在特性和结构才是LLM方法在此类任务中效果的主要来源,而非与语言模型架构的有效对齐。
Oct, 2024