多模态语言建模推进时间序列分类

Mar, 2024

多模态语言建模推进时间序列分类

Advancing Time Series Classification with Multimodal Language Modeling

Mingyue Cheng, Yiheng Chen, Qi Liu, Zhiding Liu, Yucong Luo

TL;DR通过使用预训练语言模型，本研究提出了 InstructTime，将时间序列分类重塑为学习生成范式，并将任务特定指令和原始时间序列作为多模态输入，通过文本表示标签信息，实现了在时间序列分类中的卓越性能和通用基础模型的潜力。

Abstract

For the advancements of time series classification, scrutinizing previous studies, most existing methods adopt a common learning-to-classify paradigm - a time series classifier model tries to learn the relation between sequence inputs and target label encoded by one-hot distribution. A

time series classification learning-to-generate paradigm multimodal understanding task pre-trained language model transferability

发现论文，激发创造

通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

Mar, 2024

DualTime：一个用于时间序列表示的双适配器多模态语言模型

基于时间序列多模态数据的互补信息挖掘，我们提出了 DualTime，一种双适配器多模态语言模型，同时实现了时间为主导和文本为主导的建模，通过注入轻量级适配符号，实现了嵌入对齐并实现了高效微调。实证研究表明，我们的方法在监督和无监督设置中均优于最先进的模型，突显了不同模态的互补优势。此外，我们进行了少样本标签迁移实验，进一步验证了我们提出的 DualTime 的可迁移性和表达能力。

Jun, 2024

适应模态的时间序列预测变形器

通过开发一种名为 Modality-aware Transformer 的新型多模态变压器，我们旨在解决多模态时间序列预测的复杂挑战，并在金融数据集上进行了广泛实验，证明其优于现有方法，提供了一种新颖而实用的解决方案。

Oct, 2023

利用大规模语言模型增强时间序列分析：综述

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

大型语言模型用于时间序列的研究概述

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024

TimeCMA: 基于 LLM 的时间序列预测协同模态对齐

基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。

Jun, 2024

基于模态相对预训练的文本到代码生成

通过改变序列令牌的表示方式，依据所属的模态性进行进一步的模型预训练，并在文本与代码生成任务中观察到一致的改进。

Feb, 2024

语言模型对于时间序列零样本推理仍然存在困难

时间序列推理是语言模型研究中一个有影响力但尚未充分发展的方向，本研究提出了一个新颖的时间序列推理评估框架，研究了三种推理形式的表现，并发现语言模型在时间序列推理方面仍存在局限性。

Apr, 2024

论文：大型语言模型对时间序列分析的启示

当前大语言模型在时间序列分析领域的潜力和发展前景

Feb, 2024

面向多任务多模态模型的视频生成视角

通过构建多任务模型、保留高保真度的视频本机时空分词器、以及可解释的词汇术语与视觉观察之间的映射，我们的研究证明了多模态潜在空间设计的可行性，并提出了一种优于行业标准编解码器的视频本机时空分词器，从而在视频合成方面实现了语言模型超越扩散模型的首次突破。进一步地，我们的可扩展视觉令牌表示法在生成、压缩和理解任务中都表现出明显的优势。这项研究的成果为未来在生成非文本数据、实现实时互动体验等方面提供了有趣的潜力。

May, 2024