计时器：用于大规模时间序列分析的Transformer
利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。
Oct, 2023
TEMPO是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过20%至60%的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。
Oct, 2023
通过将时间序列编码为数字字符串，我们可以将时间序列预测视为文本中的下一个标记预测。我们发现，大型语言模型（LLMs）如GPT-3和LLaMA-2可以意外地在零样本外推时间序列，其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能，我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为，LLMs对于时间序列的成功源于它们能够自然地表示多模态分布，结合了对简洁性和重复性的偏好，这与许多时间序列的显著特征（如重复季节性趋势）相一致。我们还展示了LLMs如何自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们展示了由于GPT-4如何令牌化数字以及较差的不确定性校准，它可能比GPT-3表现更差，这很可能是因为诸如RLHF之类的对齐干预的结果。
Oct, 2023
该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为Timely Generative Pre-trained Transformer的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局-局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。
Nov, 2023
通过利用大型语言模型，研究利用自回归时间序列预测模型（AutoTimes）处理时间序列数据，该模型利用基于语言建模学习的通用令牌转换，具备灵活的系列长度和较高的性能。
Feb, 2024
基于大规模语言模型的缩放定律已经在如何训练规模更大的模型以获得可预测的性能提升上提供了有用的指导。该研究表明，基于解码器的时间序列变换模型也展示了与语言模型类似的缩放行为，对于广泛范围内的架构细节（纵横比和头数）几乎没有影响。我们汇集了大量的异构时间序列数据进行训练，并首次建立了参数数量、数据集大小和训练计算量与其之间的幂律缩放关系，涵盖了五个数量级。
May, 2024
近期基于Transformer的大型语言模型展示了在提供的上下文情况下学习各种函数的能力，而无需更新模型参数。为了充分利用上下文能力进行时间序列预测问题，我们将“时间序列预测任务”重新构建为输入令牌，通过生成一系列（回顾，未来）对。该方法更加符合内在的上下文机制，并且在不使用预训练的大型语言模型参数的情况下更加参数高效。此外，它解决了现有基于Transformer的时间序列预测模型中的过拟合等问题，并在完整数据、少样本和零样本设置下始终比以前的架构表现更好。
May, 2024
基于大型语言模型（LLMs）的启发，时间序列预测（TSF）正在向基于Universal-Transformer的大型时间序列模型（LTSMs）过渡，旨在为TSF训练通用模型。然而，在异构时间序列数据上训练LTSMs面临着多样的挑战，包括数据集之间不同的频率，维度和模式。我们通过综合分析设计选择，并旨在确定训练LTSM的最佳实践。此外，我们提出了一种针对时间序列数据的新型统计提示策略称为“时间序列提示”。基于我们分析中的观察结果，我们引入了“LTSM-bundle”，该捆绑包绑定了我们确定的最佳设计选择。实证结果表明，“LTSM-bundle”在基准数据集上相比于最先进的LSTMs和传统的TSF方法具有卓越的零射击和少射击性能。
Jun, 2024
本研究针对时间序列预测中的统一性问题，提出了Timer-XL模型，借助生成式变换器解决1D和2D时间序列预测的挑战。其关键发现是，Timer-XL通过通用的时间注意机制，不仅有效捕捉了时间序列中的复杂依赖关系，而且在多个预测基准测试中表现出色，展现出显著的模型迁移能力和灵活性。
Oct, 2024