只有曲线形状才重要：通过下一曲线形状预测训练基础模型进行零样本多元时间序列预测

Feb, 2024

只有曲线形状才重要：通过下一曲线形状预测训练基础模型进行零样本多元时间序列预测

Only the Curve Shape Matters: Training Foundation Models for Zero-Shot Multivariate Time Series Forecasting through Next Curve Shape Prediction

PDF

Cheng Feng, Long Huang, Denis Krompass

TL;DR我们提出了通用时间转换器（GTT），这是一个仅基于编码器的风格基础模型，用于零样本多变量时间序列预测。实验结果表明，GTT 在未见过的时间序列数据集上展现出优越的预测能力，甚至超过了最先进的监督基线模型。此外，我们还研究了 GTT 模型参数和训练数据集规模变化的影响，观察到缩放定律在零样本多变量时间序列预测中也成立。

Abstract

We present general time transformer (GTT), an encoder-only style foundation model for zero-shot multivariate time series forecasting. GTT is pretrained on a large dataset of 200M high-quality time series samples

general time transformer zero-shot multivariate time series forecasting encoder-only style foundation model next curve shape prediction scaling law

发现论文，激发创造

层次化生成预训练变压器用于时间序列预测

提出了一种名为 GPHT 的新型生成预训练分层变压器架构，通过引入高级网络结构和自监督预训练策略来提高时间序列预测的准确性，并在充足的实验验证中证明其超越了传统预训练模型和监督模型，在传统长期预测任务中取得了良好的效果。

Feb, 2024

面向时间序列预测的仅解码器基础模型

基于大型语言模型的自然语言处理，我们设计了一个时间序列基础模型用于预测，在各种公共数据集上，模型的开箱即用的零射的表现接近各个数据集的最先进的监督预测模型准确度。模型基于对大型时间序列语料库进行预训练的修补解码器样式注意力模型，并且可以适用于不同的预测历史长度、预测长度和时间粒度。

Oct, 2023

基于 Transformer 的随机时间序列建模

本论文介绍了一种基于通用 Transformer 架构的随机时间序列模型 tsGT，并使用滚动窗口回测和评估协议展示了其在四个常用数据集上在 MAD 和 RMSE 上优于现有模型，在 QL 和 CRPS 上超越了其随机同行模型，并补充了对 tsGT 建模数据分布和预测边际分位值能力的详细分析。

Mar, 2024

GBT：面向非平稳时间序列预测的两阶段 Transformer 框架

该论文表明时间序列预测转换器 (TSFT) 存在严重的过拟合问题，该问题是由于未知解码器输入的不当初始化方法引起的，特别是在处理非平稳时间序列时，该论文提出了 GBT，一种新的两阶段 Transformer 框架，将 TSFT 的预测过程分解成两个阶段，包括自回归阶段和自身回归阶段，以解决输入序列和预测序列之间的不同统计特性的问题。大量实验结果表明，GBT 具有预测能力，并且可以与其他模型力及其预测能力。

Jul, 2023

FourierGNN：从纯图角度重新思考多元时间序列预测

直接应用图网络并从纯图的角度重新审视多元时间序列（MTS）预测，定义了一种新的数据结构 —— 超变量图（hypervariate graph），以滑动窗口作为时空全连接图，从而统一考虑时空动态并重构经典 MTS 预测为在超变量图上的预测。通过在傅里叶空间执行矩阵乘法的傅里叶图神经网络（Fourier Graph Neural Network，FourierGNN）架构，实现了更低的复杂性、更高的效率和较少参数，从而取得了卓越的预测性能。

Nov, 2023

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

基于 Transformer 的条件生成对抗网络用于多元时间序列生成

本文通过引入编码上下文并在条件生成对抗网络中使用，扩展了基于 Transformer 的时间序列生成对抗网络 (TTS-GAN)，从而可以使用一个模型来拟合具有多个子组件的混合分布。通过定性和定量的评估指标，我们展示了该模型可以生成高维度和长时间序列数据，并在不同条件下具有较好的性能。

Oct, 2022

用图神经网络连接点：多元时间序列预测

该研究提出了一种面向多变量时间序列数据的图神经网络框架，采用图学习模块提取自动生成的变量之间的关系，同时运用新颖的混合传递和膨胀创新层捕捉时间序列中的空间和时间相关性，而这些模块被联合学习在一个端对端框架中。实验结果表明，该模型的性能在 3 个基准数据集上优于现有最先进方法，并在提供额外结构信息的两个交通数据集上实现了与其他方法相当的性能。

May, 2020

G-Transformer 用于时间上的条件平均潜在结果估计

给医学个性化决策做出重要贡献的研究论文，提出了一种新的神经网络模型 G-transformer，用于基于观察数据对治疗效果的时间估计，该模型能够准确、低方差地预测条件期望效果，具有迭代回归和处理电子健康档案的能力。

May, 2024

基于 Transformer 的多变量时间序列表示学习框架

本文提出了一种基于 transformer 的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。

Oct, 2020