Timer-XL：统一时间序列预测的长上下文变换器

Oct, 2024

Timer-XL：统一时间序列预测的长上下文变换器

Timer-XL: Long-Context Transformers for Unified Time Series Forecasting

Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long

TL;DR本研究针对时间序列预测中的统一性问题，提出了Timer-XL模型，借助生成式变换器解决1D和2D时间序列预测的挑战。其关键发现是，Timer-XL通过通用的时间注意机制，不仅有效捕捉了时间序列中的复杂依赖关系，而且在多个预测基准测试中表现出色，展现出显著的模型迁移能力和灵活性。

Abstract

We present Timer-XL, a generative Transformer for unified Time series Forecasting. To uniformly predict 1D and 2D →

发现论文，激发创造

Time-LLM：大型语言模型的时间序列预测

利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

Oct, 2023

TEMPO：面向时间序列预测的基于提示的生成预训练变换器

TEMPO是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过20%至60%的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

Oct, 2023

大型语言模型是零-shot 时间序列预测器

通过将时间序列编码为数字字符串，我们可以将时间序列预测视为文本中的下一个标记预测。我们发现，大型语言模型（LLMs）如GPT-3和LLaMA-2可以意外地在零样本外推时间序列，其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能，我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为，LLMs对于时间序列的成功源于它们能够自然地表示多模态分布，结合了对简洁性和重复性的偏好，这与许多时间序列的显著特征（如重复季节性趋势）相一致。我们还展示了LLMs如何自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们展示了由于GPT-4如何令牌化数字以及较差的不确定性校准，它可能比GPT-3表现更差，这很可能是因为诸如RLHF之类的对齐干预的结果。

Oct, 2023

计时器：用于大规模时间序列分析的Transformer

本研究论文致力于提出一种大规模时间序列模型(Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

Feb, 2024

AutoTimes：通过大型语言模型进行自回归时间序列预测

通过利用大型语言模型，研究利用自回归时间序列预测模型（AutoTimes）处理时间序列数据，该模型利用基于语言建模学习的通用令牌转换，具备灵活的系列长度和较高的性能。

Feb, 2024

上下文神经网络：一种可扩展的多元模型用于时间序列预测

该研究提出了一种具有线性复杂度的Context Neural Network方法，可以有效地为时间序列模型提供和其邻近时间序列相关的上下文见解，从而丰富预测模型，解决全局模型的局限性，并且对于大型数据集具有可计算性可扩展性。

May, 2024

利用2D信息进行长期时间序列预测的Vanilla Transformer

通过Transformer架构，GridTST模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024

上下文时间序列预测器

近期基于Transformer的大型语言模型展示了在提供的上下文情况下学习各种函数的能力，而无需更新模型参数。为了充分利用上下文能力进行时间序列预测问题，我们将“时间序列预测任务”重新构建为输入令牌，通过生成一系列（回顾，未来）对。该方法更加符合内在的上下文机制，并且在不使用预训练的大型语言模型参数的情况下更加参数高效。此外，它解决了现有基于Transformer的时间序列预测模型中的过拟合等问题，并在完整数据、少样本和零样本设置下始终比以前的架构表现更好。

May, 2024

UniTST: 有效建模多变量时间序列预测中的系列内和系列间依赖关系

通过提出一种名为UniTST的基于Transformer的模型，该模型含有统一的关注机制和调度模块，可以直接建模时间序列数据中的复杂依赖关系，并在多个数据集上展现了出色的性能。

Jun, 2024

xLSTMTime：基于xLSTM的长期时间序列预测

该论文采用扩展LSTM（xLSTM）架构进行了长期时间序列预测，并与各种现有模型进行了比较，结果表明改进的循环架构在时间序列预测中具有竞争力，有着优越的预测能力。

Jul, 2024