May, 2024

超越趋势与周期性：以文本线索为指导的时间序列预测

PDF
TL;DR通过整合文本线索与时间序列数据，本研究引入了一种新颖的文本引导时间序列预测（TGTSF）任务，并提出了一个稳健的基准模型 TGForecaster，它利用交叉注意机制融合文本线索和时间序列数据。通过四个精心策划的基准数据集对所提出的框架进行了综合评估，验证了 TGForecaster 在各类数据中始终保持领先的性能，凸显了将文本信息纳入时间序列预测的潜力。该研究不仅开创了一种新的预测任务，而且为未来的研究建立了一个新的基准，推动了多模态数据集成在时间序列模型中的发展。
text-guided time series forecastingtgforecasterbenchmark datasetscross-attention mechanismsmultimodal data integration
发现论文，激发创造
  • 时间序列价值 64 词：使用 Transformer 进行长期预测

    本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

    Nov, 2022

  • 学习历史，演化未来：预测时序趋势用于假新闻检测

    本研究提出了一种名为 “FTT” 的有效框架，可以预测新闻数据的时间分布模式并指导检测器快速适应未来的分布。在真实世界的时序数据集上的实验证明了我们所提出的框架的优越性。

    Jun, 2023

  • 可解释的多时段时间序列预测的时间融合变压器

    介绍了一种名为 Temporal Fusion Transformer（TFT）的基于注意机制的新型深度学习模型，以高效且可解释的方式解决多步预测中存在的多个输入和时间动态性问题，在实际数据集上表现出显著的性能和可解释性。

    Dec, 2019

  • 适应模态的时间序列预测变形器

    通过开发一种名为 Modality-aware Transformer 的新型多模态变压器，我们旨在解决多模态时间序列预测的复杂挑战，并在金融数据集上进行了广泛实验，证明其优于现有方法，提供了一种新颖而实用的解决方案。

    Oct, 2023

  • 采用图网络和时序引导嵌入的时空数据需求预测

    本研究提出了一种名为 TGNet 的新的需求预测模型，它集成了图网络和时间导向嵌入，能够高效提取复杂的时空模式，并在其三个实际数据集中取得了与基线模型相当的预测表现，在参数数量上却大幅节省。

    May, 2019

  • 大型时间序列模型训练中不同设计选择的理解

    基于大型语言模型（LLMs）的启发，时间序列预测（TSF）正在向基于 Universal-Transformer 的大型时间序列模型（LTSMs）过渡，旨在为 TSF 训练通用模型。然而，在异构时间序列数据上训练 LTSMs 面临着多样的挑战，包括数据集之间不同的频率，维度和模式。我们通过综合分析设计选择，并旨在确定训练 LTSM 的最佳实践。此外，我们提出了一种针对时间序列数据的新型统计提示策略称为 “时间序列提示”。基于我们分析中的观察结果，我们引入了 “LTSM-bundle”，该捆绑包绑定了我们确定的最佳设计选择。实证结果表明，“LTSM-bundle” 在基准数据集上相比于最先进的 LSTMs 和传统的 TSF 方法具有卓越的零射击和少射击性能。

    Jun, 2024

  • TEMPO：面向时间序列预测的基于提示的生成预训练变换器

    TEMPO 是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过 20% 至 60% 的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

    Oct, 2023

  • 流式视频中的时间语句定位

    该研究旨在解决一项新颖任务 —— 流媒体视频中的时间句子定位，通过提出 TwinNet 结构和语言引导的特征压缩器，该方法在多个数据集上进行了广泛实验证明了其卓越性能。

    Aug, 2023

  • PromptCast: 一种新的基于提示的时间序列预测学习范式

    本文探讨了基于提示的自然语言建模的范式下的时间序列表示学习问题，提出了基于提示的时间序列预测 (PromptCast) 模型，并介绍了一个大规模数据集 (PISA)，结果表明这种基于语言生成模型的提示方法是一种有前途的研究方向。

    Sep, 2022

  • 文本生成的时间感知提示

    探讨利用时间戳，如文档创建日期，将时间信息纳入到生成系统中的影响，研究时间感知提示的两种类型，并引入一个新的数据生成数据集 TempWikiBio，通过数据生成、文本传输和摘要三个数据集展示了使用线性提示和文本提示可以提高所有数据集的生成质量，线性提示对非时间信息更加关注，对时间敏感度较低，而文本提示可以产生更符合事实的时间信息。

    Nov, 2022