层次化生成预训练变压器用于时间序列预测

Feb, 2024

层次化生成预训练变压器用于时间序列预测

Generative Pretrained Hierarchical Transformer for Time Series Forecasting

Zhiding Liu, Jiqian Yang, Mingyue Cheng, Yucong Luo, Zhi Li

TL;DR提出了一种名为 GPHT 的新型生成预训练分层变压器架构，通过引入高级网络结构和自监督预训练策略来提高时间序列预测的准确性，并在充足的实验验证中证明其超越了传统预训练模型和监督模型，在传统长期预测任务中取得了良好的效果。

Abstract

Recent efforts have been dedicated to enhancing time series forecasting accuracy by introducing advanced network architectures and self-supervised pretraining strategies. Nevertheless, existing approaches still e

time series forecasting network architectures self-supervised pretraining generative pretrained hierarchical transformer gpht

发现论文，激发创造

TEMPO：面向时间序列预测的基于提示的生成预训练变换器

TEMPO 是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过 20% 至 60% 的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

Oct, 2023

改进时间序列表示学习的双向生成预训练

通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT 在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT 在预测神经功能、疾病诊断和生理迹象方面表现出优异性能。通过可视化注意力热图，我们观察到经过预训练的 BiTimelyGPT 能够从时间序列序列中识别出有区别性的片段，尤其是在任务微调之后。

Feb, 2024

TimelyGPT: 长时序表示的循环卷积变换器

该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

具高效的分层变换器的生成式预训练语音语言模型

我们介绍了一种用于有效语音语言建模的层次变压器的生成预训练语音变压器 (GPST)，它将音频波形量化为两种不同类型的离散语音表示，并在层次变压器架构中进行集成，从而实现统一的单阶段生成过程并增强 Hi-Res 音频生成能力。通过以端到端无监督的方式在大型语音语料库上进行训练，GPST 可以生成具有多样说话人身份的句法一致的语音。给定一个简短的 3 秒提示，GPST 可以产生自然连贯的个性化语音，展示了上下文学习能力。此外，我们的方法可以通过结合多语义令牌和通用声学令牌轻松扩展到口语跨语言语音生成。实验结果表明，GPST 在词错误率、语音质量和说话人相似度方面明显优于现有语音语言模型。详情请参见 https://youngsheen.github.io/GPST/demo。

Jun, 2024

GEANN：用于多时域时间序列预测的可扩展图增强技术

使用图神经网络作为数据增强来改善编码器，在冷启动产品的需求预测中取得明显的收益。

Jul, 2023

在负荷预测中的 TimeGPT：一个大型时间序列模型视角

研究表明在历史电负荷数据有限的情况下，机器学习模型在负荷预测中的准确性受到限制。该论文探讨了大规模时间序列模型（TimeGPT）在历史数据有限的负荷预测中的潜力，并通过训练模型适应数据分布和特征，取得了在短期预测中超越其他机器学习模型和统计模型的成果。然而，由于负荷数据与训练数据之间的分布差异可能会影响 TimeGPT 的性能，因此在实际应用中需要使用验证集损失来确定是否选择 TimeGPT。

Apr, 2024

GPT-ST：时空图神经网络的生成式预训练

该研究提出了一个融入下游基线模型并提升其性能的时空预训练框架，其中包括一个时空蒙版自编码器和一个自适应蒙版策略，通过学习时空依赖关系和不同关系的建模，在交通管理和旅行规划方面取得了显著的效果。

Nov, 2023

预训练语言模型用于电力时间序列预测

通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

DeepHGNN: 基于图神经网络的层次相关多变量时间序列预测方法研究

这篇论文介绍了一种针对复杂层次结构的新型 Hierarchical GNN（DeepHGNN）框架，该框架通过创新的基于图的层次插值和端到端的协调机制，在多个层次上确保了预测的准确性和一致性，同时在层次之间共享信号，以解决层次预测中的一个关键挑战。

May, 2024

基于分层时空 Transformer 的长期风力预测

本文提出了一种新的基于 Transformer Network 的 Hierarchical Spatial-Temporal Transformer Network（HSTTN）模型，利用空间和时间特征增强长期风力发电预测。实验结果表明，该模型性能优于现有解决方案。

May, 2023