Feb, 2024

MOMENT：一种开放的时间序列基础模型家族

PDF
TL;DR我们介绍 MOMENT，这是一款用于一般时间序列分析的开源基础模型系列。我们在时间序列数据上进行大型模型的预训练面临挑战：(1) 缺少一个大规模的连贯的公共时间序列数据库，(2) 多样化的时间序列特征使得多数据集训练变得困难，以及 (3) 用于评估这些模型的实验基准，尤其在资源、时间和监督有限的情况下，仍处于初级阶段。为了解决这些挑战，我们建立了一个名为 Time-series Pile 的大规模多样化的公共时间序列收集，并系统地解决时间序列特定挑战，以解锁大规模多数据集的预训练。最后，我们在最近的工作基础上设计了一个基准来评估有限监督设置下各种任务和数据集上的时间序列基础模型。在此基准上的实验证明了我们的预训练模型在少量数据和任务特定微调下的有效性。最后，我们还提出了几个关于大型预训练时间序列模型的有趣的实证观察。我们的代码可以匿名访问：anonymous.4open.science/r/BETT-773F/。
momenttime-series analysistime-series repositorypre-trainingbenchmarks
发现论文，激发创造
  • 面向时间序列数据的基础模型

    本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。

    Oct, 2023

  • 时间序列基础模型综述：利用大型语言模型进行时间序列表示的泛化

    对时间序列进行分析的基础模型的研究和应用，包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法，并提供了一种 3E 分析框架和一个领域分类系统来帮助该领域的发展。

    May, 2024

  • 推动时序预训练在 CloudOps 领域的极限

    通过引入三个大规模时间序列预测数据集，从云操作领域，其中最大的数据集拥有数十亿个观测值，研究时间序列模型的预训练和扩展性，我们建立了经验性的研究基础，并通过确定一种有前景的候选架构为未来研究铺平了道路。同时，我们通过与经典和深度学习基准的综合性基准结果进行比较，展示我们的预训练方法取得了 27% 的误差降低。代码和数据集将被发布。

    Oct, 2023

  • 基于时间序列分析的基础模型：教程与综述

    时间序列分析基于 FMs 的模型设计范式的最新进展，强调其理论基础、发展的最新步伐和未来研究探索的途径。

    Mar, 2024

  • 用于跨领域时间序列分析任务的大型预训练时间序列模型

    将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型 LPTM 来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了 40％，训练时间减少了 50％。

    Nov, 2023

  • UniTS: 构建统一的时间序列模型

    基于深度学习的基础模型正在广泛应用于各个领域，而 UNITS 模型以其在时间序列数据上的卓越表现和多领域数据集上的优良性能，为统一的任务规范提供了支持。

    Feb, 2024

  • 面向时间序列预测的仅解码器基础模型

    基于大型语言模型的自然语言处理，我们设计了一个时间序列基础模型用于预测，在各种公共数据集上，模型的开箱即用的零射的表现接近各个数据集的最先进的监督预测模型准确度。模型基于对大型时间序列语料库进行预训练的修补解码器样式注意力模型，并且可以适用于不同的预测历史长度、预测长度和时间粒度。

    Oct, 2023

  • 寻找用于时间序列分类的基础模型与预训练任务

    该研究旨在解决时间序列分类中的过拟合问题，通过引入预训练的领域基础模型，并使用一种新颖的预训练任务，该任务可跨多个数据集，以产生可应用于不同数据集的灵活卷积滤波器。实验证明，该预训练策略显著优于传统的无预训练方法，并在小数据集上有效减少过拟合，为深度学习在时间序列分类中的应用提供了更高的性能。

    Nov, 2023

  • 统一长期时间序列预测基准

    为了支持机器学习方法在预测时间序列数据方面的进展，我们提供了一个专门设计用于长期时间序列预测的全面数据集。我们将从不同的动态系统和真实记录中获取的一系列数据集进行了标准化，每个数据集都被分成了训练和测试轨迹，并设定了预定的回溯长度。通过对经典和先进的模型（即 LSTM，DeepAR，NLinear，N-Hits，PatchTST，和 LatentODE）进行广泛的基准分析，我们确定在不同场景中最有效的模型。我们的研究结果显示出这些模型之间有着有趣的性能比较，突显了模型效果与数据集有关的特性。值得注意的是，我们引入了一个定制的 latent NLinear 模型并且通过课程学习阶段提高了 DeepAR 的性能，它们在效果上始终优于其原始版本。

    Sep, 2023

  • 深度学习和基础模型在时间序列预测中的调查

    深度学习在时间序列预测方面取得了显著优势，然而在大流行预测领域仍存在挑战，如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术，并提供了进一步研究的建议。

    Jan, 2024