大型语言模型用于时间序列的研究概述
对利用大型语言模型(LLMs)进行时间序列分析的现有方法进行了系统概述,总结了基于 LLM 的时间序列分析的一般流程,并探讨了未来的研究机会。
Feb, 2024
大型语言模型在时间序列预测方面具有明显的优势和限制,尤其在具备明确模式和趋势的数据上,LLMs 表现出色,但在缺乏周期性的数据集上面临挑战。研究发现,引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。
Feb, 2024
提出了一个评估大型语言模型(LLM)在时间序列理解方面能力的框架,包括单变量和多变量形式;通过研究时间序列的特征以及设计和合成数据集来评估 LLMs 在时间序列理解方面的能力,并揭示了 LLMs 对数据格式、查询数据的位置和时间序列长度等因素的敏感性。
Apr, 2024
本文研究了利用大型语言模型在可解释金融时间序列预测中的应用,使用股票价格数据、公司元数据和历史新闻等多模态信号,在 NASDAQ-100 股票上进行实验,结果显示与一些基准模型相比,使用 GPT-4 和 Open LLaMA 这类新型模型进行零样本 / 少样本推断并通过基于指令的微调生成可解释预测,优于经典的 ARMA-GARCH 模型和梯度提升树模型。
Jun, 2023
利用大型语言模型和时间序列对齐框架,进行多元时间序列预测,同时充分发挥语言模型的潜力,建立了长期和短期预测的新的最先进方法。
Mar, 2024
通过系统性文献综述,全面考察了在预测和异常检测中使用大规模语言模型(LLMs)的应用,突出了现有研究的现状、固有挑战和未来发展方向。LLMs 已经在解析和分析大规模数据集以识别模式、预测未来事件和检测异常行为等各个领域展现了巨大潜力。然而,该综述指出了一些关键挑战,如依赖于大量历史数据集、在不同背景中的泛化问题、模型产生幻觉的现象、模型知识范围的局限性以及需要大量计算资源等,这些挑战阻碍了它们更广泛的应用和有效性。通过详细分析,本综述讨论了克服这些障碍的潜在解决方案和策略,如整合多模态数据,学习方法的进步以及强调模型可解释性和计算效率。此外,该综述还概述了可能影响 LLMs 在这些领域中发展的关键趋势,包括朝向实时处理、可持续建模实践的重要性和跨学科合作的价值。最后,该综述强调了 LLMs 对预测和异常检测可能产生的转变性影响,同时强调了持续创新、道德考虑和实际解决方案的需求以实现其全部潜力。
Feb, 2024
这篇研究论文总结了大型语言模型(LLMs)不同子类的最新发展,包括基于任务的金融 LLMs、多语言 LLMs、生物医学和临床 LLMs,以及视觉语言 LLMs 和代码语言模型。它还强调了聊天机器人和虚拟助手开发领域中的未解决问题,如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境,旨在为对基于 LLMs 的聊天机器人和虚拟智能助手技术感兴趣的读者、开发者、学者和用户提供有用的信息和未来方向。
Jul, 2023
利用大型语言模型进行时间序列预测的重新编程框架,通过在输入时间序列中加入文本原型,将两种模态对齐,进而获得强大的时间序列学习器 Time-LLM,该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。
Oct, 2023
通过将时间序列编码为数字字符串,我们可以将时间序列预测视为文本中的下一个标记预测。我们发现,大型语言模型(LLMs)如 GPT-3 和 LLaMA-2 可以意外地在零样本外推时间序列,其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能,我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为,LLMs 对于时间序列的成功源于它们能够自然地表示多模态分布,结合了对简洁性和重复性的偏好,这与许多时间序列的显著特征(如重复季节性趋势)相一致。我们还展示了 LLMs 如何自然处理缺失数据而无需插补,容纳文本边信息,并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能,但我们展示了由于 GPT-4 如何令牌化数字以及较差的不确定性校准,它可能比 GPT-3 表现更差,这很可能是因为诸如 RLHF 之类的对齐干预的结果。
Oct, 2023