语言模型对时间序列预测是否真的有用?

Jun, 2024

语言模型对时间序列预测是否真的有用?

Are Language Models Actually Useful for Time Series Forecasting?

Mingtian Tan, Mike A. Merrill, Vinayak Gupta, Tim Althoff, Thomas Hartvigsen

TL;DR在大型语言模型中，尤其是在时间序列预测方面，进行了一系列消融研究，发现移除语言模型组件或用基本的注意力层替换并不降低预测结果，甚至在大多数情况下结果有所提升。此外，预训练的语言模型并不比从头开始训练的模型更好，不能准确表示时间序列中的顺序依赖关系，也不能在小样本场景中提供帮助。同时，研究了时间序列编码器，揭示了贴片和注意力结构与基于最新技术的LLM的预测模型效果相似。

Abstract

large language models (LLMs) are being applied to time series tasks, particularly time series forecasting. However, are language models actually useful for time series? After a series of →

发现论文，激发创造

Time-LLM：大型语言模型的时间序列预测

利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

Oct, 2023

大型语言模型是零-shot 时间序列预测器

通过将时间序列编码为数字字符串，我们可以将时间序列预测视为文本中的下一个标记预测。我们发现，大型语言模型（LLMs）如GPT-3和LLaMA-2可以意外地在零样本外推时间序列，其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能，我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为，LLMs对于时间序列的成功源于它们能够自然地表示多模态分布，结合了对简洁性和重复性的偏好，这与许多时间序列的显著特征（如重复季节性趋势）相一致。我们还展示了LLMs如何自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们展示了由于GPT-4如何令牌化数字以及较差的不确定性校准，它可能比GPT-3表现更差，这很可能是因为诸如RLHF之类的对齐干预的结果。

Oct, 2023

大型语言模型用于时间序列的研究概述

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024

AutoTimes：通过大型语言模型进行自回归时间序列预测

通过利用大型语言模型，研究利用自回归时间序列预测模型（AutoTimes）处理时间序列数据，该模型利用基于语言建模学习的通用令牌转换，具备灵活的系列长度和较高的性能。

Feb, 2024

论文: 大型语言模型对时间序列分析的启示

当前大语言模型在时间序列分析领域的潜力和发展前景

Feb, 2024

利用大规模语言模型增强时间序列分析：综述

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于LLM的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

LLMs的时间序列预测：理解和增强模型能力

大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升LLMs在时间序列预测中的预测性能。

Feb, 2024

大型语言模型的宏观经济预测

通过对比分析，本论文评估了大型语言模型和传统宏观时间序列预测方法的准确性。发现大型语言模型在宏观经济时间序列预测方面与传统方法相比存在优势和局限性。

Jul, 2024

对标准统计模型和大型语言模型在时间序列预测中的评估

本研究探讨了大型语言模型（LLMs）在时间序列预测中的应用，重点分析了LLMTIME模型。研究显示，尽管LLMs在生成文本、翻译和情感分析等任务中表现良好，但在处理复杂时间序列数据时，其预测准确性显著下降，尤其是当数据包含周期性和趋势成分时。这一发现强调了针对时间序列的LLMs的局限性和面临的挑战。

Aug, 2024

通过模态对齐重新审视大型语言模型在时间序列分析中的应用

本研究针对大型语言模型（LLMs）在时间序列分析中的应用效果进行了深入实验，发现与简单的线性回归模型相比，LLMs在预测、分类、填补和异常检测等核心任务中表现无明显优势，甚至可能扭曲数据的时间结构。研究表明，时间序列数据的内在特性和结构才是LLM方法在此类任务中效果的主要来源，而非与语言模型架构的有效对齐。

Oct, 2024