本研究提出了一种创新的框架 aLLM4TS，用于适应大型语言模型（LLMs）进行时间序列表示学习，并通过将时间序列预测重新构想为自监督的多补丁预测任务，比传统的遮罩和重建方法更有效地捕捉了补丁表示中的时间动态。我们的策略包括两个阶段的训练：（i）在各种时间序列数据集上基于下一个补丁预测进行因果连续预训练阶段，有效地将 LLM 的能力与时间序列数据的复杂性同步；（ii）在目标时间序列环境中进行多补丁预测的微调。我们框架的一个独特要素是基于补丁的解码层，摒弃了先前依赖序列级解码的方法。这种设计直接将各个补丁转换为时间序列，从而显著增强了模型在掌握基于时间补丁的表示方面的能力。aLLM4TS 在多个下游任务中表现出卓越性能，证明了它在提高传递性的时间表示方面的有效性，并在 LLMs 用于时间序列分析的适应性方面取得了重要进展。

Feb, 2024

大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

Feb, 2024

利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器 Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

Oct, 2023

利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

Mar, 2024

通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

本文研究了利用大型语言模型在可解释金融时间序列预测中的应用，使用股票价格数据、公司元数据和历史新闻等多模态信号，在 NASDAQ-100 股票上进行实验，结果显示与一些基准模型相比，使用 GPT-4 和 Open LLaMA 这类新型模型进行零样本 / 少样本推断并通过基于指令的微调生成可解释预测，优于经典的 ARMA-GARCH 模型和梯度提升树模型。

Jun, 2023

基于大型语言模型（LLMs）的启发，时间序列预测（TSF）正在向基于 Universal-Transformer 的大型时间序列模型（LTSMs）过渡，旨在为 TSF 训练通用模型。然而，在异构时间序列数据上训练 LTSMs 面临着多样的挑战，包括数据集之间不同的频率，维度和模式。我们通过综合分析设计选择，并旨在确定训练 LTSM 的最佳实践。此外，我们提出了一种针对时间序列数据的新型统计提示策略称为 “时间序列提示”。基于我们分析中的观察结果，我们引入了 “LTSM-bundle”，该捆绑包绑定了我们确定的最佳设计选择。实证结果表明，“LTSM-bundle” 在基准数据集上相比于最先进的 LSTMs 和传统的 TSF 方法具有卓越的零射击和少射击性能。

Jun, 2024

利用预训练模型进行时间序列预测方面的研究，提出了 Multi-level Tiny Time Mixers（TTM）方法，通过小型模型、自适应补丁、数据增强和分辨率前缀调整来有效地模拟跨通道相关性和整合外部信号，实现了显著的准确性提升和参数规模大幅减小。

Jan, 2024

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024