新闻信号:一种用于文本和时间序列的NLP库
本文介绍了$ exttt{time_interpret}$库,这是Captum的扩展库,专注于时间数据,并包括几种特征归属法和数据集,可以用于解释任何Pytorch模型的预测结果。
Jun, 2023
通过将时间序列编码为数字字符串,我们可以将时间序列预测视为文本中的下一个标记预测。我们发现,大型语言模型(LLMs)如GPT-3和LLaMA-2可以意外地在零样本外推时间序列,其性能与或超过在下游任务上训练的专用时间序列模型相当。为了促进这种性能,我们提出了有效令牌化时间序列数据并将离散分布转换为对连续值的高度灵活的密度的流程。我们认为,LLMs对于时间序列的成功源于它们能够自然地表示多模态分布,结合了对简洁性和重复性的偏好,这与许多时间序列的显著特征(如重复季节性趋势)相一致。我们还展示了LLMs如何自然处理缺失数据而无需插补,容纳文本边信息,并回答问题以帮助解释预测。虽然我们发现增加模型大小通常会提高时间序列的性能,但我们展示了由于GPT-4如何令牌化数字以及较差的不确定性校准,它可能比GPT-3表现更差,这很可能是因为诸如RLHF之类的对齐干预的结果。
Oct, 2023
基于大型语言模型的自然语言处理,我们设计了一个时间序列基础模型用于预测,在各种公共数据集上,模型的开箱即用的零射的表现接近各个数据集的最先进的监督预测模型准确度。模型基于对大型时间序列语料库进行预训练的修补解码器样式注意力模型,并且可以适用于不同的预测历史长度、预测长度和时间粒度。
Oct, 2023
该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法,包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合,同时提供了现有的多模态时间序列和文本数据集的综合概述,并分析了该新兴领域的挑战和未来机会。
Feb, 2024
我们介绍 MOMENT,这是一款用于一般时间序列分析的开源基础模型系列。我们在时间序列数据上进行大型模型的预训练面临挑战:(1) 缺少一个大规模的连贯的公共时间序列数据库,(2) 多样化的时间序列特征使得多数据集训练变得困难,以及(3) 用于评估这些模型的实验基准,尤其在资源、时间和监督有限的情况下,仍处于初级阶段。为了解决这些挑战,我们建立了一个名为 Time-series Pile 的大规模多样化的公共时间序列收集,并系统地解决时间序列特定挑战,以解锁大规模多数据集的预训练。最后,我们在最近的工作基础上设计了一个基准来评估有限监督设置下各种任务和数据集上的时间序列基础模型。在此基准上的实验证明了我们的预训练模型在少量数据和任务特定微调下的有效性。最后,我们还提出了几个关于大型预训练时间序列模型的有趣的实证观察。我们的代码可以匿名访问:anonymous.4open.science/r/BETT-773F/。
Feb, 2024
提出了一个评估大型语言模型(LLM)在时间序列理解方面能力的框架,包括单变量和多变量形式;通过研究时间序列的特征以及设计和合成数据集来评估LLMs在时间序列理解方面的能力,并揭示了LLMs对数据格式、查询数据的位置和时间序列长度等因素的敏感性。
Apr, 2024
通过整合文本线索与时间序列数据,本研究引入了一种新颖的文本引导时间序列预测(TGTSF)任务,并提出了一个稳健的基准模型TGForecaster,它利用交叉注意机制融合文本线索和时间序列数据。通过四个精心策划的基准数据集对所提出的框架进行了综合评估,验证了TGForecaster在各类数据中始终保持领先的性能,凸显了将文本信息纳入时间序列预测的潜力。该研究不仅开创了一种新的预测任务,而且为未来的研究建立了一个新的基准,推动了多模态数据集成在时间序列模型中的发展。
May, 2024
本研究探讨了大型语言模型(LLMs)在时间序列预测中的应用,重点分析了LLMTIME模型。研究显示,尽管LLMs在生成文本、翻译和情感分析等任务中表现良好,但在处理复杂时间序列数据时,其预测准确性显著下降,尤其是当数据包含周期性和趋势成分时。这一发现强调了针对时间序列的LLMs的局限性和面临的挑战。
Aug, 2024