Aug, 2024

释放预训练语言模型在不规则时间序列中的潜力

HTML
PDF
TL;DR本研究解决了当前预训练语言模型在分析不规则时间序列（ISTS）方面的不足，提出了一种新的方法来提升这些模型的有效性。通过构建一个统一的基于预训练语言模型的框架IST-PLM，并在不同分析任务上进行广泛实验，研究结果表明该框架在分类、插值和外推等任务中均取得了优越表现，显示出其在医疗和生物力学等科学领域的广泛应用潜力。
发现论文，激发创造
  • LLM4TS：基于预训练LLM的两阶段微调用于时间序列预测

    我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了LLMs处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS在长期预测方面取得了最先进的结果。

    Aug, 2023

  • Time-LLM：大型语言模型的时间序列预测

    利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

    Oct, 2023

  • 用于跨领域时间序列分析任务的大型预训练时间序列模型

    将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型LPTM来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了40％，训练时间减少了50％。

    Nov, 2023

  • 通用时间序列分析：利用预训练语言模型和特别设计的适配器

    利用预训练模型并引入自定义适配器优化预训练的transformer模型用于时间序列分析，在多个任务中取得了卓越的性能，尤其是通过适配器微调进一步提升了性能，超过了专门用于特定任务的模型。

    Nov, 2023

  • 大型语言模型用于时间序列的研究概述

    该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

    Feb, 2024

  • 利用大规模语言模型增强时间序列分析：综述

    对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于LLM的时间序列分析的一般流程，并探讨了未来的研究机会。

    Feb, 2024

  • 多模态语言建模推进时间序列分类

    通过使用预训练语言模型，本研究提出了InstructTime，将时间序列分类重塑为学习生成范式，并将任务特定指令和原始时间序列作为多模态输入，通过文本表示标签信息，实现了在时间序列分类中的卓越性能和通用基础模型的潜力。

    Mar, 2024

  • 评估大型语言模型对时间序列特征理解的综合分类和基准

    提出了一个评估大型语言模型（LLM）在时间序列理解方面能力的框架，包括单变量和多变量形式；通过研究时间序列的特征以及设计和合成数据集来评估LLMs在时间序列理解方面的能力，并揭示了LLMs对数据格式、查询数据的位置和时间序列长度等因素的敏感性。

    Apr, 2024

  • 时间序列基础模型综述: 利用大型语言模型进行时间序列表示的泛化

    对时间序列进行分析的基础模型的研究和应用，包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法，并提供了一种3E分析框架和一个领域分类系统来帮助该领域的发展。

    May, 2024

  • LETS-C: 基于语言嵌入的时间序列分类

    利用语言编码器将时间序列数据进行嵌入，结合简单且有效的分类器，可以在保持轻量级模型架构的同时实现高性能的时间序列分类。

    Jul, 2024