时间序列预训练模型调研
TimeNet是一个基于循环神经网络的深度非监督学习模型,使用序列到序列模型从多个时间序列中提取特征,可用作时间序列的通用特征提取器,并且通过实验证明,使用TimeNet特征提取器训练的分类器能够显著提高分类效果。
Jun, 2017
本文通过一个基于深度神经网络结构的实证研究,介绍最新的深度学习算法在时间序列分类方面的最新状态,以及给出了一个自由开放的深度学习框架,并在 97 个时间序列数据集上进行了 8,730 种模型的训练来达到最全面的时间序列分类问题的深度学习算法的研究。
Sep, 2018
本研究介绍了TSFEDL库,该库编译了20种时序特征提取和预测的先进方法,利用卷积神经网络和循环神经网络用于数据挖掘任务,结果表明该Python库有很高的实用价值。
Jun, 2022
时间序列分类(TSC)一直是数据科学和知识工程中的一项关键且具有挑战性的问题。在过去的二十年里,有关TSC的研究受到了广泛关注,并涌现出许多基于相似度度量、区间、形状、字典、深度学习方法或混合集成方法的最新方法。近年来,人们还设计了几种从时间序列中提取无监督信息摘要统计(即特征)的工具。本文通过对112个时间序列数据集上进行的超过10000次学习实验的结果分析表明,基于特征的方法的性能与当前先进的TSC算法一样准确,因此在TSC文献中应该得到更多的关注。
Aug, 2023
将多个不同动态和领域的时间序列分割为片段作为输入,我们提出了一种新颖的模型LPTM来进行预训练,自动识别最佳的数据集特定分段策略,并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能,并且数据和计算效率明显提高,使用的数据量减少了40%,训练时间减少了50%。
Nov, 2023
利用预训练模型并引入自定义适配器优化预训练的transformer模型用于时间序列分析,在多个任务中取得了卓越的性能,尤其是通过适配器微调进一步提升了性能,超过了专门用于特定任务的模型。
Nov, 2023
该研究通过重新审视时间序列变压器并确定先前研究的不足,引入了一种名为Timely Generative Pre-trained Transformer的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局-局部时间依赖关系,并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明,该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色,这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。
Nov, 2023
时间序列分类是时间序列挖掘中最重要的任务之一,本论文介绍了一种以效率为主要目标的新方法,通过简化时间序列的表示和考虑部分值的距离度量,实现对大型时间序列数据集的高效分类。实验结果表明,与其他高效方法相比,该方法不仅平均速度快4倍,而且在分类准确性上更为优越。
Dec, 2023
该论文通过对设计深度时间序列模型的研究,从基本模块和模型结构的角度,综述了时间序列分析任务的现有文献,并开发并发布 Time Series Library (TSLib) 作为深度时间序列模型的公正评估基准,对不同任务评估了 12 种先进的深度时间序列模型并提供了洞见。
Jul, 2024
本研究针对自监督预训练模型(PTMs)在时间序列数据上的表现不及简单监督模型的问题进行了探讨。通过测试六种时间序列生成方法,将生成数据用于预训练,发现替代真实数据的训练集可显著提高分类性能。这一发现为时间序列的自监督学习提供了新的思路和数据处理策略。
Aug, 2024