ACLApr, 2024

时间机器 GPT

PDF
TL;DR大型语言模型（LLMs）通常在广泛的、时间不加区分的文本语料库上进行训练，反映了缺乏带有时间元数据的数据集。本文提出了一种新的方法：一系列时间点的 LLMs，称为 Time Machine GPT（TiMaGPT），专门设计为非预测性的。这确保它们对未来的事实信息和语言变化保持不知情，这种策略对于理解语言的演化以及在动态环境下应用模型（如时间序列预测）尤为重要。我们提供模型和训练数据集的访问权限。
large language modelstemporal metadatatime machine gptlanguage evolutiontime-series forecasting
发现论文，激发创造
  • 大型语言模型是零 - shot 时间序列预测器

    通过将时间序列编码为数字字符串，我们可以将时间序列预测视为文本中的下一个标记预测。我们发现，大型语言模型（LLMs）如 GPT-3 和 LLaMA-2 可以意外地在零样本外推时间序列，其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能，我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为，LLMs 对于时间序列的成功源于它们能够自然地表示多模态分布，结合了对简洁性和重复性的偏好，这与许多时间序列的显著特征（如重复季节性趋势）相一致。我们还展示了 LLMs 如何自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能，但我们展示了由于 GPT-4 如何令牌化数字以及较差的不确定性校准，它可能比 GPT-3 表现更差，这很可能是因为诸如 RLHF 之类的对齐干预的结果。

    Oct, 2023

  • 基于时间感知的语言模型作为时态知识库

    介绍了一个用于探讨语言模型在知识更新方面的诊断数据集，提出了一种将文本与时间戳共同建模的简单技术来改善语言模型在训练时期已知事实的记忆和对未来时间段内未知事实的预测。还展示了通过时态语境训练的语言模型可以高效 “刷新”，而无需从头开始重新训练。

    Jun, 2021

  • ModelGPT: 发挥 LLM 的能力进行定制模型生成

    通过使用 Large Language Models (LLMs)，我们提出了 ModelGPT 框架，以满足用户的特定需求，并以更快的速度生成定制化的 AI 模型，以实现更加便利和用户友好的人工智能模型。

    Feb, 2024

  • 在负荷预测中的 TimeGPT：一个大型时间序列模型视角

    研究表明在历史电负荷数据有限的情况下，机器学习模型在负荷预测中的准确性受到限制。该论文探讨了大规模时间序列模型（TimeGPT）在历史数据有限的负荷预测中的潜力，并通过训练模型适应数据分布和特征，取得了在短期预测中超越其他机器学习模型和统计模型的成果。然而，由于负荷数据与训练数据之间的分布差异可能会影响 TimeGPT 的性能，因此在实际应用中需要使用验证集损失来确定是否选择 TimeGPT。

    Apr, 2024

  • 大型语言模型作为数据预处理器

    此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

    Aug, 2023

  • 利用大规模语言模型增强时间序列分析：综述

    对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

    Feb, 2024

  • 大型语言模型用于时间序列的研究概述

    该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

    Feb, 2024

  • 大型语言模型是否具有时间性基础？

    大型语言模型在时间上没有实质依据，缺乏自洽性并且表现出不一致的行为性。

    Nov, 2023

  • 大型语言模型能够学习时间推理

    我们提出了一种新的基于文本的时间推理模型 TempGraph-LLM，通过将上下文翻译成时间图，教导大型语言模型 (LLMs) 学习时间概念。我们证明了在其他任务上的预训练对 LLMs 的效益，并通过思路链的引导和特殊数据增强引导 LLMs 进行符号推理，观察到符号推理带来更一致可靠的结果。

    Jan, 2024

  • GATGPT：基于图注意力网络的预训练大型语言模型用于时空填补

    在本研究中，我们提出了一种创新方法 GATGPT，它将已训练好的大型语言模型（LLM）与图注意机制相结合，用于时空插补。我们保持大部分 LLM 参数不变，以利用现有知识学习时间模式，并针对不同应用程序调整上层的微调。图注意组件增强了 LLM 理解空间关系的能力。通过对三个真实世界数据集的测试，我们的方法表现与已建立的深度学习基准相当。

    Nov, 2023