Time-FFM: 面向时间序列预测的基于 LM 增强的联邦基础模型

May, 2024

Time-FFM: 面向时间序列预测的基于 LM 增强的联邦基础模型

Time-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting

Qingxiang Liu, Xu Liu, Chenghao Liu, Qingsong Wen, Yuxuan Liang

TL;DR提出了一种基于预训练模型的联邦时间序列预测模型 (Time-FFM)，通过将时间序列转化为文本标记的形式来进行时间序列推理，并采用个性化联邦训练策略，取得了比现有方法更好的性能，有望实现有效的少样本和零样本预测。

Abstract

Unlike natural language processing and computer vision, the development of foundation models (FMs) for time series forecasting is blocked due to data scarcity. While recent efforts are focused on building such FM

foundation models time series forecasting federated foundation model pretrained lms few-shot and zero-shot forecaster

发现论文，激发创造

基于联邦学习的基础模型协同优化：一项综述

基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

Jun, 2024

TimeCMA: 基于 LLM 的时间序列预测协同模态对齐

基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。

Jun, 2024

Time-LLM：大型语言模型的时间序列预测

利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器 Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

Oct, 2023

时间序列数据与 LLM 相遇 - 可解释的金融时间序列预测

本文研究了利用大型语言模型在可解释金融时间序列预测中的应用，使用股票价格数据、公司元数据和历史新闻等多模态信号，在 NASDAQ-100 股票上进行实验，结果显示与一些基准模型相比，使用 GPT-4 和 Open LLaMA 这类新型模型进行零样本 / 少样本推断并通过基于指令的微调生成可解释预测，优于经典的 ARMA-GARCH 模型和梯度提升树模型。

Jun, 2023

基于时间序列分析的基础模型：教程与综述

时间序列分析基于 FMs 的模型设计范式的最新进展，强调其理论基础、发展的最新步伐和未来研究探索的途径。

Mar, 2024

AutoTimes：通过大型语言模型进行自回归时间序列预测

通过利用大型语言模型，研究利用自回归时间序列预测模型（AutoTimes）处理时间序列数据，该模型利用基于语言建模学习的通用令牌转换，具备灵活的系列长度和较高的性能。

Feb, 2024

通过联合迁移学习使基础模型根植于实际：一个通用框架

使用联邦迁移学习来接地基础模型是当前学术界和工业界重要的研究方向，该研究论文介绍了一个联邦迁移学习框架，对最新的研究工作进行了详细分类和综述，提供了高效和隐私保护技术，并探讨了联邦迁移学习未来的机会和研究方向。

Nov, 2023

LLMs 的时间序列预测：理解和增强模型能力

大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

Feb, 2024

联邦基础模型：大型模型的隐私保护和协同学习

本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

May, 2023

通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

Mar, 2024