大型时间序列模型训练中不同设计选择的理解

Jun, 2024

大型时间序列模型训练中不同设计选择的理解

Understanding Different Design Choices in Training Large Time Series Models

Yu-Neng Chuang, Songchen Li, Jiayi Yuan, Guanchu Wang, Kwei-Herng Lai...

TL;DR基于大型语言模型（LLMs）的启发，时间序列预测（TSF）正在向基于 Universal-Transformer 的大型时间序列模型（LTSMs）过渡，旨在为 TSF 训练通用模型。然而，在异构时间序列数据上训练 LTSMs 面临着多样的挑战，包括数据集之间不同的频率，维度和模式。我们通过综合分析设计选择，并旨在确定训练 LTSM 的最佳实践。此外，我们提出了一种针对时间序列数据的新型统计提示策略称为 “时间序列提示”。基于我们分析中的观察结果，我们引入了 “LTSM-bundle”，该捆绑包绑定了我们确定的最佳设计选择。实证结果表明，“LTSM-bundle” 在基准数据集上相比于最先进的 LSTMs 和传统的 TSF 方法具有卓越的零射击和少射击性能。

Abstract

Inspired by Large Language Models (LLMs), Time Series Forecasting (TSF), a long-standing task in time series analysis, is undergoing a transition towards large time series models (LTSMs), aiming to train universal transformer-based models for TSF. However, training LTSMs on

large time series models ltsm training heterogeneous time series data design choices time series prompt

发现论文，激发创造

LSTPrompt: 大型语言模型作为零样本时间序列预测器之短时 - 长时提示

Time-series forecasting (TSF) finds broad applications in real-world scenarios, and this paper proposes LSTPrompt, a novel approach for prompting Large Language Models (LLMs) in zero-shot TSF tasks, which consistently outperforms existing prompting methods and achieves competitive results compared to foundation TSF models.

Feb, 2024

利用大规模语言模型增强时间序列分析：综述

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

计时器：用于大规模时间序列分析的 Transformer

本研究论文致力于提出一种大规模时间序列模型 (Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

Feb, 2024

大型语言模型用于时间序列的研究概述

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024

LLMs 的时间序列预测：理解和增强模型能力

大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

Feb, 2024

Time-LLM：大型语言模型的时间序列预测

利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器 Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

Oct, 2023

测试：文本原型对齐嵌入以激活 LLM 对时间序列的能力

本文总结了使用当今的语言模型（LLM）完成时间序列（TS）任务的两种策略：LLM-for-TS，设计和训练适用于 TS 数据的基础大模型；TS-for-LLM，使预训练的 LLM 能够处理 TS 数据。本文关注 TS-for-LLM 方法，旨在通过设计一种适用于 LLM 的 TS 嵌入方法来激活 LLM 对 TS 数据的处理能力。作者提出了一种名为 TEST 的方法，首先对 TS 进行分词，通过实例、特征和文本原型对齐等方式建立编码器进行嵌入，然后创建提示信息使 LLM 更加开放对嵌入的应用，并最终实现 TS 任务。实验证明，应用于 8 个具有不同结构和大小的 LLM 进行 TS 分类和预测任务，尽管结果无法显著超过针对 TS 任务定制的最先进模型，但将 LLM 视为模式机器能够赋予 LLM 处理 TS 数据的能力，而不损害其语言能力。本文旨在成为鼓励进一步研究的基础性工作。

Aug, 2023

LLM4TS：基于预训练 LLM 的两阶段微调用于时间序列预测

我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了 LLMs 处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS 在长期预测方面取得了最先进的结果。

Aug, 2023

通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

Mar, 2024

大型语言模型是零 - shot 时间序列预测器

通过将时间序列编码为数字字符串，我们可以将时间序列预测视为文本中的下一个标记预测。我们发现，大型语言模型（LLMs）如 GPT-3 和 LLaMA-2 可以意外地在零样本外推时间序列，其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能，我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为，LLMs 对于时间序列的成功源于它们能够自然地表示多模态分布，结合了对简洁性和重复性的偏好，这与许多时间序列的显著特征（如重复季节性趋势）相一致。我们还展示了 LLMs 如何自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们展示了由于 GPT-4 如何令牌化数字以及较差的不确定性校准，它可能比 GPT-3 表现更差，这很可能是因为诸如 RLHF 之类的对齐干预的结果。

Oct, 2023