一种基于语言模型的挖掘时序数据分布变化的框架

Jun, 2024

一种基于语言模型的挖掘时序数据分布变化的框架

A Language Model-Guided Framework for Mining Time Series with Distributional Shifts

Haibei Zhu, Yousef El-Laham, Elizabeth Fons, Svitlana Vyetrenko

TL;DR使用大型语言模型和数据源接口来探索和收集时间序列数据集的方法，扩大数据量以应对限制或缺乏关键属性的原始数据，有效补充现有数据集，尤其在数据分布变化方面。演示了通过实际示例证明了收集数据集的有效性，并展示了在这些数据集上进行微调的时间序列预测基础模型与未经微调的模型相比具有可比的性能。

Abstract

Effective utilization of time series data is often constrained by the scarcity of data quantity that reflects complex dynamics, especially under the condition of distributional shifts. Existing datasets may not encompass the full range of statistical properties required for robust and

time series data dataset collection large language models data distribution time series forecasting

发现论文，激发创造

利用大规模语言模型增强时间序列分析：综述

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

时间序列基础模型综述：利用大型语言模型进行时间序列表示的泛化

对时间序列进行分析的基础模型的研究和应用，包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法，并提供了一种 3E 分析框架和一个领域分类系统来帮助该领域的发展。

May, 2024

大型语言模型用于时间序列的研究概述

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024

语言模型对于时间序列零样本推理仍然存在困难

时间序列推理是语言模型研究中一个有影响力但尚未充分发展的方向，本研究提出了一个新颖的时间序列推理评估框架，研究了三种推理形式的表现，并发现语言模型在时间序列推理方面仍存在局限性。

Apr, 2024

论文：大型语言模型对时间序列分析的启示

当前大语言模型在时间序列分析领域的潜力和发展前景

Feb, 2024

基于语言模型的嵌入方式测量文本的分布变化优势

利用大型语言模型（LLMs）生成的嵌入向量，我们提出了一种基于聚类的算法来测量文本数据的分布漂移，并通过实验证明其对于数据漂移的敏感性比其他嵌入方法更高。我们还提出了数据漂移敏感性作为衡量语言模型的重要评估指标，并从 18 个月的实际部署中总结了经验教训。

Dec, 2023

大型语言模型可以用作时间序列的零样本异常检测器吗？

本研究通过 sigllm 框架探索了大型语言模型在时间序列异常检测方面的应用，包括时间序列转文本处理模块和基于预测的探测方法，并在 11 个数据集上进行了评估，结果显示预测方法在 F1 分数上明显优于提示方法，但与最先进的深度学习模型相比，大型语言模型的性能仍略逊，差距约为 30%。

May, 2024

从过去预测未来？论金融情绪分类中的时间数据分布变化

金融文本中存在时间数据分布的变化，如何在不稳定的市场环境中训练一个能够准确推断情感且对时间数据分布变化具有鲁棒性的金融情感分析系统？本文通过对跨越三年的真实金融社交媒体数据集进行经验研究，在时间数据分布变化的情况下分析金融情感分析系统的性能下降问题，并基于金融文本的独特时间性质提出了一种结合异常检测和时间序列建模的新方法用于时间金融情感分析。实验证明该方法增强了模型在波动的金融市场中适应不断变化的时间趋势的能力。

Oct, 2023

时间序列数据与 LLM 相遇 - 可解释的金融时间序列预测

本文研究了利用大型语言模型在可解释金融时间序列预测中的应用，使用股票价格数据、公司元数据和历史新闻等多模态信号，在 NASDAQ-100 股票上进行实验，结果显示与一些基准模型相比，使用 GPT-4 和 Open LLaMA 这类新型模型进行零样本 / 少样本推断并通过基于指令的微调生成可解释预测，优于经典的 ARMA-GARCH 模型和梯度提升树模型。

Jun, 2023

模型评估与选择在时间分布转移下

我们通过综合当前时期和历史时期的数据集，研究模型评估和选择在变化环境中的情况。为了应对未知且可能随机的时间分布转移，我们开发了一种自适应滚动窗口方法来估计给定模型的泛化误差。该策略还通过估计两个候选模型的泛化误差差异来方便比较。我们进一步将两两比较整合到单一淘汰赛中，从候选模型集合中实现接近最优的模型选择。理论分析和数值实验证明了我们提出的方法对数据非稳定性的适应性。

Feb, 2024