Jan, 2024

TTMs：用于提升多变量时间序列的零样本和少样本预测的快速多层微型时间混合器

PDF
TL;DR利用预训练模型进行时间序列预测方面的研究，提出了 Multi-level Tiny Time Mixers（TTM）方法，通过小型模型、自适应补丁、数据增强和分辨率前缀调整来有效地模拟跨通道相关性和整合外部信号，实现了显著的准确性提升和参数规模大幅减小。
pretrained modelstime series forecastingtransfer learningtiny pretrained modelszero/few-shot learning
发现论文，激发创造
  • TSMixer：多元时间序列预测的轻量级 MLP-Mixer 模型

    TSMixer 是一个轻量级的神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效的替代转换器。通过添加在线对账头，混合通道建模和简单的门控关注机制等组件，TSMixer 的学习能力得到显著提高。TSMixer 在预测方面的性能优于现有的 MLP 和 Transformer 模型，同时可显著减少存储器和运行时间。

    Jun, 2023

  • LLM4TS：基于预训练 LLM 的两阶段微调用于时间序列预测

    我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了 LLMs 处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS 在长期预测方面取得了最先进的结果。

    Aug, 2023

  • TSMixer: 一种基于全 MLP 的时间序列预测架构

    本文研究线性模型在时间序列预测中的能力，提出了一个基于多层感知机的模型 TSMixer，通过在时间和特征维度上的混合操作提取信息。TSMixer 在常见的学术基准测试中表现出和专业模型类似的性能，在真实世界的 M5 基准测试数据集上表现出比先进模型更好的性能。本文的结果强调了有效利用交叉变量和辅助信息以提高时间序列预测性能的重要性，并且预计 TSMixer 的设计范例会为基于深度学习的时间序列预测开启新的视野。

    Mar, 2023

  • MultiCast：使用 LLM 进行零样本多元时间序列预测

    使用大型语言模型（LLMs）和 MultiCast 方法，可以通过三种新型的令牌复用解决方案，将多变量时间序列预测问题映射为一维数据的处理，提高预测准确性并减少令牌使用量。在三个真实数据集中，MultiCast 方法在 RMSE 和执行时间方面表现出与现有方法相比的优势。

    May, 2024

  • 预训练语言模型用于电力时间序列预测

    通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

    Feb, 2023

  • 大型时间序列模型训练中不同设计选择的理解

    基于大型语言模型（LLMs）的启发，时间序列预测（TSF）正在向基于 Universal-Transformer 的大型时间序列模型（LTSMs）过渡，旨在为 TSF 训练通用模型。然而，在异构时间序列数据上训练 LTSMs 面临着多样的挑战，包括数据集之间不同的频率，维度和模式。我们通过综合分析设计选择，并旨在确定训练 LTSM 的最佳实践。此外，我们提出了一种针对时间序列数据的新型统计提示策略称为 “时间序列提示”。基于我们分析中的观察结果，我们引入了 “LTSM-bundle”，该捆绑包绑定了我们确定的最佳设计选择。实证结果表明，“LTSM-bundle” 在基准数据集上相比于最先进的 LSTMs 和传统的 TSF 方法具有卓越的零射击和少射击性能。

    Jun, 2024

  • 计时器：用于大规模时间序列分析的 Transformer

    本研究论文致力于提出一种大规模时间序列模型 (Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

    Feb, 2024

  • 时间序列预训练模型调研

    本综述对时序预训练模型进行了全面回顾，介绍了典型的深度学习模型，总结了有监督、无监督和自监督时间序列预训练模型，分析了迁移学习策略、基于 Transformer 的模型和代表性 TS-PTMs 的优缺点，指出了未来的研究方向。

    May, 2023

  • 通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

    利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

    Mar, 2024

  • 用于跨领域时间序列分析任务的大型预训练时间序列模型

    将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型 LPTM 来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了 40％，训练时间减少了 50％。

    Nov, 2023