UniTS: 构建统一的时间序列模型
提出了 UniTime 模型以解决跨领域时间序列学习中的挑战，通过灵活适应不同特征的数据、使用领域指令和语言 - 时间序列转换器来对齐模态，以及利用屏蔽来缓解领域收敛速度不平衡问题，从而大幅提升最先进的预测性能和零样本可迁移性。
Oct, 2023
UniCL 引入了一种通用的和可扩展的对比学习框架，用于预训练时间序列基础模型，跨领域数据集验证了 UniCL 在各个领域的高泛化性能。
May, 2024
我们提出了基于掩码编码器的通用时间序列预测变形器 Moirai，用于解决传统上仅限于一个数据集一个模型的深度学习时间序列预测框架的限制，利用大规模预先训练模型的革命性影响。通过在超过九个领域中提供的超过 270 亿次观测的大规模开放时间序列存档（LOTSA）上进行训练，Moirai 作为零 - shot 预测器实现了具有竞争力或更好的性能。
Feb, 2024
我们提出了一种名为 UniT 的统一 Transformer 模型，该模型可以同时学习不同领域中最重要的任务，从目标检测到自然语言理解和多模态推理，在编码器 - 解码器架构的基础上，通过编码器对每个输入模态进行编码，并使用共享解码器对编码的输入表示进行每个任务的预测，然后是特定于任务的输出头。我们的实验证明，在 8 个数据集上联合学习 7 个任务，使用比以前的工作更少的参数，在每个任务上都获得了强大的性能。
Feb, 2021
本文通过利用多个领域的无标签样本，旨在开发一种有效的时间序列基础模型。实验结果表明，与其他方法相比，该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。
Oct, 2023
UniST 是一个通用模型，通过对多样的时空数据特征的灵活性、精心设计的掩模策略以及时空知识引导的提示，实现对城市时空预测的强大泛化能力，15 个城市和 6 个领域的广泛实验证明了 UniST 在提升最先进预测性能方面的普适性，特别是在少样本和零样本情况下。
Feb, 2024
对时间序列进行分析的基础模型的研究和应用，包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法，并提供了一种 3E 分析框架和一个领域分类系统来帮助该领域的发展。
May, 2024
将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型 LPTM 来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了 40％，训练时间减少了 50％。
Nov, 2023
我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了 LLMs 处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS 在长期预测方面取得了最先进的结果。
Aug, 2023