该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT 在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT 在预测神经功能、疾病诊断和生理迹象方面表现出优异性能。通过可视化注意力热图，我们观察到经过预训练的 BiTimelyGPT 能够从时间序列序列中识别出有区别性的片段，尤其是在任务微调之后。

Feb, 2024

提出了一种名为 GPHT 的新型生成预训练分层变压器架构，通过引入高级网络结构和自监督预训练策略来提高时间序列预测的准确性，并在充足的实验验证中证明其超越了传统预训练模型和监督模型，在传统长期预测任务中取得了良好的效果。

Feb, 2024

TrackGPT 是一种基于 GPT 的模型，可用于实体轨迹预测，并在测距和空间两个领域表现出强大的性能，同时保持领域无关性和最小化数据特征要求。

Jan, 2024

研究表明在历史电负荷数据有限的情况下，机器学习模型在负荷预测中的准确性受到限制。该论文探讨了大规模时间序列模型（TimeGPT）在历史数据有限的负荷预测中的潜力，并通过训练模型适应数据分布和特征，取得了在短期预测中超越其他机器学习模型和统计模型的成果。然而，由于负荷数据与训练数据之间的分布差异可能会影响 TimeGPT 的性能，因此在实际应用中需要使用验证集损失来确定是否选择 TimeGPT。

Apr, 2024

本研究论文致力于提出一种大规模时间序列模型 (Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

Feb, 2024

通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

TimeGPT 是时间序列的首个基础模型，能够生成准确的预测结果，我们通过评估其与统计学、机器学习和深度学习方法的性能对比发现，TimeGPT 在性能、效率和简洁性方面表现出色，研究结果显示了人工智能其他领域的洞见能够有效应用于时间序列分析，大规模时间序列模型为普遍获取精确预测和降低不确定性提供了激动人心的机会。

Oct, 2023

TRACE-GPT 通过卷积嵌入和生成式预训练转换器，用于预训练单变量时间序列传感器数据，并检测半导体制造中的未标记数据中的故障。

Sep, 2023

该研究对多个 Transformer 模型进行基准测试，展示了这些模型如何从新闻事件中判断情感。这个信号随后可用于下游建模和商品交易的信号识别。我们发现，在这一任务中，微调的 BERT 模型优于微调或原版的 GPT 模型。研究还提出了 CopBERT 模型，它在域特定的 BERT 训练模型（如 FinBERT）的性能上表现更好。综上所述，BERT 模型可能不会成为下一个 XGboost，但对于需要融合可解释性和准确性的金融工程任务来说，它代表了一个有趣的选择。

Apr, 2024