Feb, 2024

多区块预测：适应时序表示学习的 LLM 调整

PDF
TL;DR本研究提出了一种创新的框架 aLLM4TS，用于适应大型语言模型（LLMs）进行时间序列表示学习，并通过将时间序列预测重新构想为自监督的多补丁预测任务，比传统的遮罩和重建方法更有效地捕捉了补丁表示中的时间动态。我们的策略包括两个阶段的训练：（i）在各种时间序列数据集上基于下一个补丁预测进行因果连续预训练阶段，有效地将 LLM 的能力与时间序列数据的复杂性同步；（ii）在目标时间序列环境中进行多补丁预测的微调。我们框架的一个独特要素是基于补丁的解码层，摒弃了先前依赖序列级解码的方法。这种设计直接将各个补丁转换为时间序列，从而显著增强了模型在掌握基于时间补丁的表示方面的能力。aLLM4TS 在多个下游任务中表现出卓越性能，证明了它在提高传递性的时间表示方面的有效性，并在 LLMs 用于时间序列分析的适应性方面取得了重要进展。
发现论文，激发创造
  • LLM4TS：基于预训练 LLM 的两阶段微调用于时间序列预测

    我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了 LLMs 处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS 在长期预测方面取得了最先进的结果。

    Aug, 2023

  • Time-LLM：大型语言模型的时间序列预测

    利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器 Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

    Oct, 2023

  • 通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

    利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

    Mar, 2024

  • LLMs 的时间序列预测：理解和增强模型能力

    大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

    Feb, 2024

  • PDMLP：基于补丁的分解 MLP 用于长期时间序列预测

    我们的研究通过改进 Transformer 架构，提出了一种基于 Patch 机制和线性层的新型解决方案 PDMLP，用于长期时间序列预测任务，并在多个真实数据集上实现了最先进的结果。

    May, 2024

  • MultiCast：使用 LLM 进行零样本多元时间序列预测

    使用大型语言模型（LLMs）和 MultiCast 方法，可以通过三种新型的令牌复用解决方案，将多变量时间序列预测问题映射为一维数据的处理，提高预测准确性并减少令牌使用量。在三个真实数据集中，MultiCast 方法在 RMSE 和执行时间方面表现出与现有方法相比的优势。

    May, 2024

  • TimeCMA: 基于 LLM 的时间序列预测协同模态对齐

    基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。

    Jun, 2024

  • 学习独立嵌入时间序列片段

    基于自监督表征学习策略的遮蔽时间序列建模引起了人们的广泛关注。我们提出使用简单的补丁重构任务和独立嵌入每个补丁的简单补丁级 MLP。此外，我们引入互补的对比学习方法以高效地捕捉相邻时间序列信息。与最先进的基于 Transformer 的模型相比，我们的方法在时间序列预测和分类性能上有所提高，同时在参数数量和训练 / 推理时间上更加高效。

    Dec, 2023

  • 大型语言模型用于时间序列的研究概述

    该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

    Feb, 2024

  • AutoTimes：通过大型语言模型进行自回归时间序列预测

    通过利用大型语言模型，研究利用自回归时间序列预测模型（AutoTimes）处理时间序列数据，该模型利用基于语言建模学习的通用令牌转换，具备灵活的系列长度和较高的性能。

    Feb, 2024