通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

Mar, 2024

通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

Taming Pre-trained LLMs for Generalised Time Series Forecasting via Cross-modal Knowledge Distillation

Peiyuan Liu, Hang Guo, Tao Dai, Naiqi Li, Jigang Bao...

TL;DR利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

Abstract

multivariate time series forecasting has recently gained great success with the rapid growth of deep learning models. However, existing approaches usually train models from scratch using limited temporal data, preventing their generalization. Recently, with the surge of the

multivariate time series forecasting large language models time series alignment knowledge distillation forecasting model

发现论文，激发创造

大型语言模型用于时间序列的研究概述

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024

时间序列数据与 LLM 相遇 - 可解释的金融时间序列预测

本文研究了利用大型语言模型在可解释金融时间序列预测中的应用，使用股票价格数据、公司元数据和历史新闻等多模态信号，在 NASDAQ-100 股票上进行实验，结果显示与一些基准模型相比，使用 GPT-4 和 Open LLaMA 这类新型模型进行零样本 / 少样本推断并通过基于指令的微调生成可解释预测，优于经典的 ARMA-GARCH 模型和梯度提升树模型。

Jun, 2023

Time-LLM：大型语言模型的时间序列预测

利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器 Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

Oct, 2023

利用大规模语言模型增强时间序列分析：综述

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

LLMs 的时间序列预测：理解和增强模型能力

大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

Feb, 2024

TimeCMA: 基于 LLM 的时间序列预测协同模态对齐

基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。

Jun, 2024

LLM4TS：基于预训练 LLM 的两阶段微调用于时间序列预测

我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了 LLMs 处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS 在长期预测方面取得了最先进的结果。

Aug, 2023

论文：大型语言模型对时间序列分析的启示

当前大语言模型在时间序列分析领域的潜力和发展前景

Feb, 2024

大型语言模型是零 - shot 时间序列预测器

通过将时间序列编码为数字字符串，我们可以将时间序列预测视为文本中的下一个标记预测。我们发现，大型语言模型（LLMs）如 GPT-3 和 LLaMA-2 可以意外地在零样本外推时间序列，其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能，我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为，LLMs 对于时间序列的成功源于它们能够自然地表示多模态分布，结合了对简洁性和重复性的偏好，这与许多时间序列的显著特征（如重复季节性趋势）相一致。我们还展示了 LLMs 如何自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们展示了由于 GPT-4 如何令牌化数字以及较差的不确定性校准，它可能比 GPT-3 表现更差，这很可能是因为诸如 RLHF 之类的对齐干预的结果。

Oct, 2023

语言模型对时间序列预测是否真的有用？

在大型语言模型中，尤其是在时间序列预测方面，进行了一系列消融研究，发现移除语言模型组件或用基本的注意力层替换并不降低预测结果，甚至在大多数情况下结果有所提升。此外，预训练的语言模型并不比从头开始训练的模型更好，不能准确表示时间序列中的顺序依赖关系，也不能在小样本场景中提供帮助。同时，研究了时间序列编码器，揭示了贴片和注意力结构与基于最新技术的 LLM 的预测模型效果相似。

Jun, 2024