Oct, 2023

推动时序预训练在 CloudOps 领域的极限

PDF
TL;DR通过引入三个大规模时间序列预测数据集，从云操作领域，其中最大的数据集拥有数十亿个观测值，研究时间序列模型的预训练和扩展性，我们建立了经验性的研究基础，并通过确定一种有前景的候选架构为未来研究铺平了道路。同时，我们通过与经典和深度学习基准的综合性基准结果进行比较，展示我们的预训练方法取得了 27% 的误差降低。代码和数据集将被发布。
time seriespre-trainingscalingforecasting datasetsdeep learning
发现论文，激发创造
  • 用于跨领域时间序列分析任务的大型预训练时间序列模型

    将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型 LPTM 来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了 40％，训练时间减少了 50％。

    Nov, 2023

  • 时间序列预测的标度律

    时间序列预测的缩放定律理论解释了深度学习方法在时间序列预测中的表现不尽相同，必须考虑数据集大小、模型复杂度以及时间序列粒度，特别注重未被研究的回顾时间范围的影响，实证评估了多个模型，验证了在时间序列预测领域数据集大小和模型复杂度的缩放定律有效性，还验证了我们关于回顾时间范围影响的理论框架，为未来有限数据集的时间序列预测模型和大型基础数据集与模型的研究提供了启示。

    May, 2024

  • 统一长期时间序列预测基准

    为了支持机器学习方法在预测时间序列数据方面的进展，我们提供了一个专门设计用于长期时间序列预测的全面数据集。我们将从不同的动态系统和真实记录中获取的一系列数据集进行了标准化，每个数据集都被分成了训练和测试轨迹，并设定了预定的回溯长度。通过对经典和先进的模型（即 LSTM，DeepAR，NLinear，N-Hits，PatchTST，和 LatentODE）进行广泛的基准分析，我们确定在不同场景中最有效的模型。我们的研究结果显示出这些模型之间有着有趣的性能比较，突显了模型效果与数据集有关的特性。值得注意的是，我们引入了一个定制的 latent NLinear 模型并且通过课程学习阶段提高了 DeepAR 的性能，它们在效果上始终优于其原始版本。

    Sep, 2023

  • 计时器：用于大规模时间序列分析的 Transformer

    本研究论文致力于提出一种大规模时间序列模型 (Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

    Feb, 2024

  • MOMENT：一种开放的时间序列基础模型家族

    我们介绍 MOMENT，这是一款用于一般时间序列分析的开源基础模型系列。我们在时间序列数据上进行大型模型的预训练面临挑战：(1) 缺少一个大规模的连贯的公共时间序列数据库，(2) 多样化的时间序列特征使得多数据集训练变得困难，以及 (3) 用于评估这些模型的实验基准，尤其在资源、时间和监督有限的情况下，仍处于初级阶段。为了解决这些挑战，我们建立了一个名为 Time-series Pile 的大规模多样化的公共时间序列收集，并系统地解决时间序列特定挑战，以解锁大规模多数据集的预训练。最后，我们在最近的工作基础上设计了一个基准来评估有限监督设置下各种任务和数据集上的时间序列基础模型。在此基准上的实验证明了我们的预训练模型在少量数据和任务特定微调下的有效性。最后，我们还提出了几个关于大型预训练时间序列模型的有趣的实证观察。我们的代码可以匿名访问：anonymous.4open.science/r/BETT-773F/。

    Feb, 2024

  • 大型时间序列模型的尺度定律

    基于大规模语言模型的缩放定律已经在如何训练规模更大的模型以获得可预测的性能提升上提供了有用的指导。该研究表明，基于解码器的时间序列变换模型也展示了与语言模型类似的缩放行为，对于广泛范围内的架构细节（纵横比和头数）几乎没有影响。我们汇集了大量的异构时间序列数据进行训练，并首次建立了参数数量、数据集大小和训练计算量与其之间的幂律缩放关系，涵盖了五个数量级。

    May, 2024

  • 预训练语言模型用于电力时间序列预测

    通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

    Feb, 2023

  • 一种可扩展和可迁移的时序预测框架用于需求预测

    提出了一种名为 Forecasting orchestra（Forchestra）的时间序列预测框架，具有可扩展的模型规模和预测精度，能够在需求预测和物流优化等业务问题中准确预测未来需求。

    Feb, 2024

  • 大规模预训练的极限探索

    通过调整数据规模、模型大小和训练时间，提高预训练的准确性可以有利于大多数下游任务的表现，但是当上游准确度提高时，下游任务的表现会饱和，并且与上游和下游任务的性能呈非线性关系，因此需要对下游性能建立一个模型以反映这种饱和现象。

    Oct, 2021

  • 基于概率的时间序列预测中多层感知器神经网络的超参数调优

    我们的研究主要关注于考察与时间序列相关的特定超参数（如上下文长度和验证策略）对时间序列预测中最先进的 MLP 模型性能的影响，通过对 20 个时间序列预测数据集进行了 4800 种配置的广泛实验，我们的研究结果表明这些参数的调整对性能至关重要。此外，我们还引入了迄今为止最大的用于时间序列预测的元数据集 TSBench，包括 97200 个评估，相较于该领域的先前作品增加了 20 倍。最后，我们展示了该创建的元数据集在多保真度超参数优化任务中的实用性。

    Mar, 2024