该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT 在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT 在预测神经功能、疾病诊断和生理迹象方面表现出优异性能。通过可视化注意力热图，我们观察到经过预训练的 BiTimelyGPT 能够从时间序列序列中识别出有区别性的片段，尤其是在任务微调之后。

Feb, 2024

TEMPO 是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过 20% 至 60% 的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

Oct, 2023

介绍了一种创新的自回归模型，利用了 Generative Pretrained Transformer (GPT) 架构，专为支付系统中的欺诈检测而设计。我们的方法创新性地解决了令牌爆炸问题，并通过时间和上下文分析重构行为序列，提供了对交易行为的细致理解。利用无监督预训练，我们的模型在特征表示方面表现突出，无需有标签的数据。此外，我们整合了一种差分卷积方法来增强异常检测，提高了中国最大在线支付商的安全性和效果。我们模型的可扩展性和适应性在各种交易背景下有着广泛的适用性。

Dec, 2023

TrackGPT 是一种基于 GPT 的模型，可用于实体轨迹预测，并在测距和空间两个领域表现出强大的性能，同时保持领域无关性和最小化数据特征要求。

Jan, 2024

本文提出一种基于自监督模型训练的异常检测方法，使用数据降级方案来处理未标记的多变量时间序列，并设计了一种基于 Transformer 的架构来检测异常序列。该方法在五个真实世界的基准测试中表现出较好的能力，超过了以前的最新方法。

May, 2023

该研究提出了一个融入下游基线模型并提升其性能的时空预训练框架，其中包括一个时空蒙版自编码器和一个自适应蒙版策略，通过学习时空依赖关系和不同关系的建模，在交通管理和旅行规划方面取得了显著的效果。

Nov, 2023

提出了一种名为 GPHT 的新型生成预训练分层变压器架构，通过引入高级网络结构和自监督预训练策略来提高时间序列预测的准确性，并在充足的实验验证中证明其超越了传统预训练模型和监督模型，在传统长期预测任务中取得了良好的效果。

Feb, 2024

本研究提出 TSI-GAN，一种用于时序数据的无监督异常检测模型，可以自动学习复杂的时间模式并广义于不同数据集，通过将每个输入时间序列转换为二维图像序列，并使用具有逆映射准确性的重建型 GAN 进行训练，以及后处理中应用 Hodrick-Prescott 过滤器来缓解假阳性问题，最终实验表明，与 8 种基准方法相比，TSI-GAN 具有明显的性能优势。

Mar, 2023

TimeGPT 是时间序列的首个基础模型，能够生成准确的预测结果，我们通过评估其与统计学、机器学习和深度学习方法的性能对比发现，TimeGPT 在性能、效率和简洁性方面表现出色，研究结果显示了人工智能其他领域的洞见能够有效应用于时间序列分析，大规模时间序列模型为普遍获取精确预测和降低不确定性提供了激动人心的机会。

Oct, 2023