时间序列基础模型综述：利用大型语言模型进行时间序列表示的泛化
本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。
Oct, 2023
对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。
Feb, 2024
使用大型语言模型和数据源接口来探索和收集时间序列数据集的方法，扩大数据量以应对限制或缺乏关键属性的原始数据，有效补充现有数据集，尤其在数据分布变化方面。演示了通过实际示例证明了收集数据集的有效性，并展示了在这些数据集上进行微调的时间序列预测基础模型与未经微调的模型相比具有可比的性能。
Jun, 2024
时间序列推理是语言模型研究中一个有影响力但尚未充分发展的方向，本研究提出了一个新颖的时间序列推理评估框架，研究了三种推理形式的表现，并发现语言模型在时间序列推理方面仍存在局限性。
Apr, 2024
深度学习在时间序列预测方面取得了显著优势，然而在大流行预测领域仍存在挑战，如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术，并提供了进一步研究的建议。
Jan, 2024
提出了一个评估大型语言模型（LLM）在时间序列理解方面能力的框架，包括单变量和多变量形式；通过研究时间序列的特征以及设计和合成数据集来评估 LLMs 在时间序列理解方面的能力，并揭示了 LLMs 对数据格式、查询数据的位置和时间序列长度等因素的敏感性。
Apr, 2024
我们介绍 MOMENT，这是一款用于一般时间序列分析的开源基础模型系列。我们在时间序列数据上进行大型模型的预训练面临挑战：(1) 缺少一个大规模的连贯的公共时间序列数据库，(2) 多样化的时间序列特征使得多数据集训练变得困难，以及 (3) 用于评估这些模型的实验基准，尤其在资源、时间和监督有限的情况下，仍处于初级阶段。为了解决这些挑战，我们建立了一个名为 Time-series Pile 的大规模多样化的公共时间序列收集，并系统地解决时间序列特定挑战，以解锁大规模多数据集的预训练。最后，我们在最近的工作基础上设计了一个基准来评估有限监督设置下各种任务和数据集上的时间序列基础模型。在此基准上的实验证明了我们的预训练模型在少量数据和任务特定微调下的有效性。最后，我们还提出了几个关于大型预训练时间序列模型的有趣的实证观察。我们的代码可以匿名访问：anonymous.4open.science/r/BETT-773F/。
Feb, 2024
该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。
Feb, 2024