通过 CrossTimeNet 提出一种新型的跨领域自监督学习框架，利用时间序列分词模块，从各个领域学习可转移的知识，并且以预训练语言模型作为编码器网络的初始化，取得优于以往工作的卓越性能。

Mar, 2024

利用预训练模型并引入自定义适配器优化预训练的 transformer 模型用于时间序列分析，在多个任务中取得了卓越的性能，尤其是通过适配器微调进一步提升了性能，超过了专门用于特定任务的模型。

Nov, 2023

利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

Mar, 2024

本综述对时序预训练模型进行了全面回顾，介绍了典型的深度学习模型，总结了有监督、无监督和自监督时间序列预训练模型，分析了迁移学习策略、基于 Transformer 的模型和代表性 TS-PTMs 的优缺点，指出了未来的研究方向。

May, 2023

通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

本研究论文致力于提出一种大规模时间序列模型 (Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

Feb, 2024

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024

基于大型语言模型（LLMs）的启发，时间序列预测（TSF）正在向基于 Universal-Transformer 的大型时间序列模型（LTSMs）过渡，旨在为 TSF 训练通用模型。然而，在异构时间序列数据上训练 LTSMs 面临着多样的挑战，包括数据集之间不同的频率，维度和模式。我们通过综合分析设计选择，并旨在确定训练 LTSM 的最佳实践。此外，我们提出了一种针对时间序列数据的新型统计提示策略称为 “时间序列提示”。基于我们分析中的观察结果，我们引入了 “LTSM-bundle”，该捆绑包绑定了我们确定的最佳设计选择。实证结果表明，“LTSM-bundle” 在基准数据集上相比于最先进的 LSTMs 和传统的 TSF 方法具有卓越的零射击和少射击性能。

Jun, 2024

通过引入三个大规模时间序列预测数据集，从云操作领域，其中最大的数据集拥有数十亿个观测值，研究时间序列模型的预训练和扩展性，我们建立了经验性的研究基础，并通过确定一种有前景的候选架构为未来研究铺平了道路。同时，我们通过与经典和深度学习基准的综合性基准结果进行比较，展示我们的预训练方法取得了 27% 的误差降低。代码和数据集将被发布。

Oct, 2023