时间-MoE:亿级规模的时间序列基础模型与专家混合
该论文提出了一种名为TimeTuner的新型可视化分析框架,用于帮助分析人员理解模型行为与时间序列表示的局部相关性、稳定性和粒度之间的关联,并通过反事实解释、多种协调视图和交互方式来改进自动特征学习的限制,展示了其在实际时间序列预测中的适用性。
Jul, 2023
利用大型语言模型进行时间序列预测的重新编程框架,通过在输入时间序列中加入文本原型,将两种模态对齐,进而获得强大的时间序列学习器Time-LLM,该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。
Oct, 2023
通过引入三个大规模时间序列预测数据集,从云操作领域,其中最大的数据集拥有数十亿个观测值,研究时间序列模型的预训练和扩展性,我们建立了经验性的研究基础,并通过确定一种有前景的候选架构为未来研究铺平了道路。同时,我们通过与经典和深度学习基准的综合性基准结果进行比较,展示我们的预训练方法取得了27%的误差降低。代码和数据集将被发布。
Oct, 2023
为了有效地进行时间序列预测,研究人员提出了ProbTS工具包,通过整合和比较两个不同分支的方法,揭示了它们的特点、优势、弱点和需要进一步探索的领域,从而为时间序列预测的更有效研究提供了新的方向。
Oct, 2023
BasisFormer 是一种端到端时间序列预测架构,它利用可学习和可解释的基来获取基础。通过自适应的自监督学习获得基础,使用双向交叉注意力计算时间序列与基础之间的相似性系数,并根据相似性系数选择和整合未来视图中的基础,从而实现准确的未来预测。通过对六个数据集进行广泛实验,证明 BasisFormer 在单变量和多变量预测任务中分别超过先前的最先进方法 11.04% 和 15.78%。
Oct, 2023
本研究论文致力于提出一种大规模时间序列模型(Time Series Transformer),通过深度学习和大规模预训练,解决了小样本情境下时间序列分析中的性能瓶颈问题。
Feb, 2024
通过利用大型语言模型,研究利用自回归时间序列预测模型(AutoTimes)处理时间序列数据,该模型利用基于语言建模学习的通用令牌转换,具备灵活的系列长度和较高的性能。
Feb, 2024
对时间序列进行分析的基础模型的研究和应用,包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法,并提供了一种3E分析框架和一个领域分类系统来帮助该领域的发展。
May, 2024
提出了MoE-F机制,用于在在线时间序列预测任务中结合N个预训练的大型语言模型(LLMs),通过自适应性地预测在每个时间步骤中LLMs预测的最佳加权。通过利用每个专家的运行表现中的条件信息,我们的机制可以预测最佳的LLMs组合以预测时间序列的下一个步骤。通过将专家选择问题构建为有限状态空间、连续时间的隐马尔可夫模型(HMM),我们可以利用Wohman-Shiryaev滤波器。我们的方法首先构建了N个并行滤波器,分别对应于N个单独的LLMs。每个滤波器根据其拥有的信息提出其最佳的LLMs组合。随后,将N个滤波器的输出聚合以优化聚合LLMs的损失下界,可以通过闭合形式进行优化,从而生成我们的集成预测器。本文贡献包括:(I) MoE-F算法-可作为即插即用的滤波器框架使用;(II) 提出的基于滤波的门控算法的理论最优性保证;(III) 使用最先进的基础和MoE LLMs在真实世界的金融市场动态预测任务上进行的实证评估和分析结果,其中MoE-F相对于表现最好的单个LLM专家获得了显著的17%的绝对值和48.5%的相对F1度量改进。
Jun, 2024
本研究解决了现有深度学习方法在时间序列预测中缺乏清晰的网络规模与拟合能力关系及可解释性的问题。通过引入柯尔莫哥洛夫-阿诺德网络(KAN),并提出了基于KAN的可逆专家混合模型(RMoK),实验结果显示RMoK在大多数情况下表现最佳,同时也揭示了时间特征权重与数据周期性的关系,证明了KAN及其衍生模型在时间序列预测中的有效性。
Aug, 2024