Sep, 2024

从新闻到预测：将事件分析整合入基于大语言模型的时间序列预测

HTML
PDF
TL;DR本研究针对时间序列预测中的信息整合问题，提出了一种新颖的方法，通过大语言模型和生成代理，适应性地将各种社会事件纳入预测模型中。研究显示，该方法显著提高了预测准确性，可能引发时间序列预测领域的范式转变。
发现论文，激发创造
  • LLM4TS：基于预训练LLM的两阶段微调用于时间序列预测

    我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了LLMs处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS在长期预测方面取得了最先进的结果。

    Aug, 2023

  • Time-LLM：大型语言模型的时间序列预测

    利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

    Oct, 2023

  • AutoTimes：通过大型语言模型进行自回归时间序列预测

    通过利用大型语言模型，研究利用自回归时间序列预测模型（AutoTimes）处理时间序列数据，该模型利用基于语言建模学习的通用令牌转换，具备灵活的系列长度和较高的性能。

    Feb, 2024

  • 利用大规模语言模型增强时间序列分析：综述

    对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于LLM的时间序列分析的一般流程，并探讨了未来的研究机会。

    Feb, 2024

  • 运用语言模型接近人类水平的预测

    利用语言模型进行预测可以在大规模上提供准确的预测结果，对于决策和政策制定具有重要意义。

    Feb, 2024

  • 语言模型对时间序列预测是否真的有用?

    在大型语言模型中，尤其是在时间序列预测方面，进行了一系列消融研究，发现移除语言模型组件或用基本的注意力层替换并不降低预测结果，甚至在大多数情况下结果有所提升。此外，预训练的语言模型并不比从头开始训练的模型更好，不能准确表示时间序列中的顺序依赖关系，也不能在小样本场景中提供帮助。同时，研究了时间序列编码器，揭示了贴片和注意力结构与基于最新技术的LLM的预测模型效果相似。

    Jun, 2024

  • MIRAI: 评估LLM智能体的事件预测能力

    通过研发MIRAI这一新的基准测试，我们全面评估了大型语言模型在国际事件预测方面的能力，从而为国际关系分析的更准确可靠的模型的开发做出了贡献。

    Jul, 2024

  • 大型语言模型在时间事件预测方面的综合评估

    基于构建了MidEast-TE-mini数据集，通过广泛实验证明，与将原始文本直接集成到LLMs输入相比，将原始文本融入特定复杂事件中并对LLMs进行微调能够显著提高性能，同时使用检索模块可以有效捕捉隐藏在历史事件中的时间关系模式，同时还揭示了在LLMs中仍存在的流行度偏见和长尾问题，为基于LLM的事件预测方法和未来的研究方向提供了深入理解和重要启示。

    Jul, 2024

  • 对标准统计模型和大型语言模型在时间序列预测中的评估

    本研究探讨了大型语言模型（LLMs）在时间序列预测中的应用，重点分析了LLMTIME模型。研究显示，尽管LLMs在生成文本、翻译和情感分析等任务中表现良好，但在处理复杂时间序列数据时，其预测准确性显著下降，尤其是当数据包含周期性和趋势成分时。这一发现强调了针对时间序列的LLMs的局限性和面临的挑战。

    Aug, 2024

  • 面向时间序列推理的多模态大语言模型研究

    本研究针对现有时间序列推理方法的不足，提出了一种新颖的多模态时间序列大语言模型（MLLM）方法，旨在实现跨领域的可泛化信息学习。通过引入轻量级时间序列编码器和链式思维增强任务，我们的模型在零样本推理任务中表现优于GPT-4o，展示了在时间序列特点提取和思维路径生成上的显著进步。

    Sep, 2024