对时间序列进行分析的基础模型的研究和应用,包括从头开始预训练基础模型和适应大型语言基础模型进行时间序列分析的方法,并提供了一种 3E 分析框架和一个领域分类系统来帮助该领域的发展。
May, 2024
本文通过利用多个领域的无标签样本,旨在开发一种有效的时间序列基础模型。实验结果表明,与其他方法相比,该提出的预训练方法结合 Transformer 模型在下游分类任务中具有更好的性能。
Oct, 2023
提出了一种基于预训练模型的联邦时间序列预测模型 (Time-FFM),通过将时间序列转化为文本标记的形式来进行时间序列推理,并采用个性化联邦训练策略,取得了比现有方法更好的性能,有望实现有效的少样本和零样本预测。
本文研究了时间序列建模和预测,分别介绍了随机、神经网络和 SVM 基于模型的预测。实验结果表明不同模型的预测表现,以及采用不同评价指标评价不同模型。
Feb, 2013
深度学习在时间序列预测方面取得了显著优势,然而在大流行预测领域仍存在挑战,如训练数据不足和模型的可解释性。此文献综述了几种先进的建模技术,并提供了进一步研究的建议。
Jan, 2024
这篇综述论文通过系统调查和总结生物信息学中的基础模型对于特定生物问题的应用以及面临的挑战和限制,并提出了基础模型在未来生物研究中的发展方向和策略。
Feb, 2024
本综述对时序预训练模型进行了全面回顾,介绍了典型的深度学习模型,总结了有监督、无监督和自监督时间序列预训练模型,分析了迁移学习策略、基于 Transformer 的模型和代表性 TS-PTMs 的优缺点,指出了未来的研究方向。
May, 2023
本论文提供了第一个对基于序列到序列模型进行时间序列预测的理论分析,比较了这种方法与传统时间序列模型之间的区别,为实践者在不同建模方法中做出量化指导。
May, 2018
基于自我监督方法使用大规模数据集训练的基础模型(FMs)被广泛应用于各个领域,包括医疗保健领域,特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战,并提供了详细的医疗应用分类,同时讨论了 FMs 所面临的挑战和未来研究方向。
Jun, 2024
提出了图基础模型(GFMs)的概念,并对其关键特征和技术进行首次全面阐述,然后将现有工作根据其依赖性分为三类,即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述,还讨论了这一发展中领域的潜在研究方向。