对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

通过系统性文献综述，全面考察了在预测和异常检测中使用大规模语言模型（LLMs）的应用，突出了现有研究的现状、固有挑战和未来发展方向。LLMs 已经在解析和分析大规模数据集以识别模式、预测未来事件和检测异常行为等各个领域展现了巨大潜力。然而，该综述指出了一些关键挑战，如依赖于大量历史数据集、在不同背景中的泛化问题、模型产生幻觉的现象、模型知识范围的局限性以及需要大量计算资源等，这些挑战阻碍了它们更广泛的应用和有效性。通过详细分析，本综述讨论了克服这些障碍的潜在解决方案和策略，如整合多模态数据，学习方法的进步以及强调模型可解释性和计算效率。此外，该综述还概述了可能影响 LLMs 在这些领域中发展的关键趋势，包括朝向实时处理、可持续建模实践的重要性和跨学科合作的价值。最后，该综述强调了 LLMs 对预测和异常检测可能产生的转变性影响，同时强调了持续创新、道德考虑和实际解决方案的需求以实现其全部潜力。

Feb, 2024

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024

通过知识蒸馏，以大型语言模型 (LLM) 为基础训练的教师网络来训练学生网络以检测时间序列异常，利用原型信号和合成异常样本的策略，AnomalyLLM 在 15 个数据集中表现出最先进的性能，在 UCR 数据集中提高了至少 14.5％ 的准确性。

Jan, 2024

LLMAD 是一种新的时间序列异常检测方法，采用大语言模型（LLMs）提供准确而可解释的结果，通过在上下文中的检测来检索正面和负面的相似时间序列片段，并采用 Anomaly Detection Chain-of-Thought（AnoCoT）方法模仿专家逻辑进行决策过程，为用户决策提供解释。

May, 2024

通过将时间序列编码为数字字符串，我们可以将时间序列预测视为文本中的下一个标记预测。我们发现，大型语言模型（LLMs）如 GPT-3 和 LLaMA-2 可以意外地在零样本外推时间序列，其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能，我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为，LLMs 对于时间序列的成功源于它们能够自然地表示多模态分布，结合了对简洁性和重复性的偏好，这与许多时间序列的显著特征（如重复季节性趋势）相一致。我们还展示了 LLMs 如何自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们展示了由于 GPT-4 如何令牌化数字以及较差的不确定性校准，它可能比 GPT-3 表现更差，这很可能是因为诸如 RLHF 之类的对齐干预的结果。

Oct, 2023

当前大语言模型在时间序列分析领域的潜力和发展前景

Feb, 2024

大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

Feb, 2024

在大型语言模型中，尤其是在时间序列预测方面，进行了一系列消融研究，发现移除语言模型组件或用基本的注意力层替换并不降低预测结果，甚至在大多数情况下结果有所提升。此外，预训练的语言模型并不比从头开始训练的模型更好，不能准确表示时间序列中的顺序依赖关系，也不能在小样本场景中提供帮助。同时，研究了时间序列编码器，揭示了贴片和注意力结构与基于最新技术的 LLM 的预测模型效果相似。

Jun, 2024

本文讨论了将异常和偏差检测方法应用于文本语料库，并针对相应挑战提出了采用分布语义的语言模型可在风险识别、预测建模和趋势分析等方面发挥重要作用。

Aug, 2019