LLM4TS：基于预训练LLM的两阶段微调用于时间序列预测
利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。
Oct, 2023
该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。
Feb, 2024
本研究提出了一种创新的框架aLLM4TS，用于适应大型语言模型（LLMs）进行时间序列表示学习，并通过将时间序列预测重新构想为自监督的多补丁预测任务，比传统的遮罩和重建方法更有效地捕捉了补丁表示中的时间动态。我们的策略包括两个阶段的训练：（i）在各种时间序列数据集上基于下一个补丁预测进行因果连续预训练阶段，有效地将LLM的能力与时间序列数据的复杂性同步；（ii）在目标时间序列环境中进行多补丁预测的微调。我们框架的一个独特要素是基于补丁的解码层，摒弃了先前依赖序列级解码的方法。这种设计直接将各个补丁转换为时间序列，从而显著增强了模型在掌握基于时间补丁的表示方面的能力。aLLM4TS在多个下游任务中表现出卓越性能，证明了它在提高传递性的时间表示方面的有效性，并在LLMs用于时间序列分析的适应性方面取得了重要进展。
Feb, 2024
大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升LLMs在时间序列预测中的预测性能。
Feb, 2024
利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。
Mar, 2024
在大型语言模型中，尤其是在时间序列预测方面，进行了一系列消融研究，发现移除语言模型组件或用基本的注意力层替换并不降低预测结果，甚至在大多数情况下结果有所提升。此外，预训练的语言模型并不比从头开始训练的模型更好，不能准确表示时间序列中的顺序依赖关系，也不能在小样本场景中提供帮助。同时，研究了时间序列编码器，揭示了贴片和注意力结构与基于最新技术的LLM的预测模型效果相似。
Jun, 2024
本研究探讨了大型语言模型（LLMs）在时间序列预测中的应用，重点分析了LLMTIME模型。研究显示，尽管LLMs在生成文本、翻译和情感分析等任务中表现良好，但在处理复杂时间序列数据时，其预测准确性显著下降，尤其是当数据包含周期性和趋势成分时。这一发现强调了针对时间序列的LLMs的局限性和面临的挑战。
Aug, 2024
本研究针对现有时间序列推理方法的不足，提出了一种新颖的多模态时间序列大语言模型（MLLM）方法，旨在实现跨领域的可泛化信息学习。通过引入轻量级时间序列编码器和链式思维增强任务，我们的模型在零样本推理任务中表现优于GPT-4o，展示了在时间序列特点提取和思维路径生成上的显著进步。
Sep, 2024