Mar, 2024

ConvTimeNet: 多变量时序分析的深层分层完全卷积模型

PDF
TL;DR本文介绍了 ConvTimeNet，这是一个新型的深层分层全卷积网络，旨在作为时间序列分析的通用模型。该网络的关键设计从两个方面入手，旨在克服传统卷积网络的局限性。第一，我们提出了将时间序列自适应分割为子序列级的补丁，并将其作为基本建模单元，避免了与原始点级时间步长相关的稀疏语义。第二，我们设计了一个完全卷积块，巧妙地集成了深度卷积和点卷积操作，采用 Transformer 编码器中使用的先进建模风格，使得该主干网络能够有效捕捉全局序列和跨变量依赖，因为它不仅融入了 Transformer 架构的进展，还继承了卷积的固有属性。此外，通过灵活控制核大小，可以学习给定时间序列实例的多尺度表示。我们在时间序列预测和分类任务上进行了广泛的实验。结果在大多数情况下在有效性方面始终优于强基线。代码已公开发布。
convtimenettime series analysisconvolutional networktransformer architecturemulti-scale representations
发现论文，激发创造
  • ConvTimeNet：一个预训练的、深度卷积神经网络用于时序分类

    该研究提出了一种基于深度卷积神经网络的预训练模型 ConvTimeNet（CTN），并通过对多个时间序列分类数据集进行训练和测试，证明了其在新任务上的可迁移性和高效性。

    Apr, 2019

  • TimeNet: 面向时序分类的预训练深度循环神经网络

    TimeNet 是一个基于循环神经网络的深度非监督学习模型，使用序列到序列模型从多个时间序列中提取特征，可用作时间序列的通用特征提取器，并且通过实验证明，使用 TimeNet 特征提取器训练的分类器能够显著提高分类效果。

    Jun, 2017

  • 适应性提取网络用于多元长序列时间序列预测

    多分辨率卷积和可变形卷积操作的自适应时变卷积网络（ATVCNet）在多变量时间序列的局部 / 全局时间依赖和变量间依赖建模方面取得了显著改进，通过不同扩张因子的卷积核扩大感受野以捕捉不同分辨率间的时间相关信息，并通过附加的偏移向量自适应调整采样位置，增强网络捕捉变量间相关特征的能力，通过提取和融合不同分辨率的时间序列特征，在时间序列中捕捉到了局部背景信息和全局模式，并且设计的变量间特征自适应提取模块捕捉了时间序列中不同变量间的相关性，实验结果表明，ATVCNet 相较于现有的 MLSTF 模型性能提高了近 63.4%。

    May, 2024

  • U-Time: 一种用于时间序列分割的全卷积网络，应用于睡眠分期

    本研究提出了 U-Time 算法，通过全连接前馈神经网络实现对睡眠数据进行分割和分类，相较于当下领先的深度学习算法，U-Time 算法具备更加强大的鲁棒性和更简单的训练流程，无需特定任务的调整或超参数调控，在多个研究数据集上展现了优异表现

    Oct, 2019

  • 基于卷积神经网络的条件时间序列预测

    本文提出了一种基于改进的深度卷积 WaveNet 框架的条件时间序列预测方法，该方法通过多个卷积滤波器并行应用于各个时间序列来完成条件操作，从而加速数据处理和利用多元时间序列之间的相关性，可以有效地学习和预测金融时间序列，且性能优于常用的自回归模型和长短期记忆网络。

    Mar, 2017

  • 时间序列分类的多尺度卷积神经网络

    提出了一种基于多尺度卷积神经网络的时间序列分类模型，该模型将特征提取和分类集成在一个框架中，具有较高的准确性和计算效率，并在大量基准数据集上进行了全面的实证评估，取得了优于其他先进方法的性能。

    Mar, 2016

  • 基于时序卷积神经网络的概率预测

    本研究基于卷积神经网络提出了一种概率预测框架，可用于多个相关时间序列的预测，并可在参数和非参数设置下估计概率密度。该方法通过堆叠残差块实现了序列的时间依赖关系，并通过表示学习捕获了季节性、假日效应等复杂模式，实验证明该框架在精度和效率方面均优于当前其他方法。

    Jun, 2019

  • 基于时间参数化的卷积神经网络用于不规则采样的时间序列

    不规则采样的多变量时间序列是各种应用领域中普遍存在的现象，本文提出了一种名为时间参数化卷积神经网络（TPCNN）的新型神经网络架构，特别适用于处理不规则时间序列数据，我们对 TPCNN 进行了插值和分类任务的实验评估并与其他最先进方法进行了比较，结果表明 TPCNN 模型不仅具有竞争性的性能，而且比其他方法更高效。同时，该架构利用可学习的时间函数的组合，提高了网络性能和序列输入的可解释性，在该领域中首次应用卷积操作。

    Aug, 2023

  • 使用深度神经网络从头开始进行时间序列分类：一个强大的基准

    提出了用深度神经网络从头开始进行时间序列分类的简单但强大的基准线。通过提出的全卷积网络（FCN）和 ResNet 结构的非常深层神经网络的探索，实现了优越的性能。我们卷积模型中的全局平均池化即可利用类激活映射（CAM）来查找特定标签的原始数据中的贡献区域，为现实世界的应用提供了简单的选择和未来研究的良好起点，同时提供了总体分析来讨论我们的模型，学习特征，网络结构和分类语义的泛化能力。

    Nov, 2016

  • TimelyGPT: 长时序表示的循环卷积变换器

    该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

    Nov, 2023