Nov, 2023
TimelyGPT: 长时序表示的循环卷积变换器
TimelyGPT: Recurrent Convolutional Transformer for Long Time-series Representation
Ziyang Song, Qincheng Lu, Hao Xu, Yue Li
TL;DR该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。