Nov, 2023

TimelyGPT: 长时序表示的循环卷积变换器

HTML
PDF
TL;DR该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为Timely Generative Pre-trained Transformer的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局-局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。
发现论文，激发创造
  • TimeNet: 面向时序分类的预训练深度循环神经网络

    TimeNet是一个基于循环神经网络的深度非监督学习模型，使用序列到序列模型从多个时间序列中提取特征，可用作时间序列的通用特征提取器，并且通过实验证明，使用TimeNet特征提取器训练的分类器能够显著提高分类效果。

    Jun, 2017

  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了Transformer在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023

  • TEMPO：面向时间序列预测的基于提示的生成预训练变换器

    TEMPO是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过20%至60%的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

    Oct, 2023

  • 时间转换器：将本地和全局特征整合以获得更好的时间序列生成

    提出了一种名为“Time-Transformer AAE”的新型时间序列生成模型，该模型能够有效地学习时间序列数据的局部和全局特性，并具有数据增强的能力来支持使用小型和不平衡的数据集进行学习。

    Dec, 2023

  • 计时器：用于大规模时间序列分析的Transformer

    本研究论文致力于提出一种大规模时间序列模型(Time Series Transformer)，通过深度学习和大规模预训练，解决了小样本情境下时间序列分析中的性能瓶颈问题。

    Feb, 2024

  • 改进时间序列表示学习的双向生成预训练

    通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT在预测神经功能、疾病诊断和生理迹象方面表现出优异性能。通过可视化注意力热图，我们观察到经过预训练的BiTimelyGPT能够从时间序列序列中识别出有区别性的片段，尤其是在任务微调之后。

    Feb, 2024

  • ConvTimeNet: 多变量时序分析的深层分层完全卷积模型

    本文介绍了ConvTimeNet，这是一个新型的深层分层全卷积网络，旨在作为时间序列分析的通用模型。该网络的关键设计从两个方面入手，旨在克服传统卷积网络的局限性。第一，我们提出了将时间序列自适应分割为子序列级的补丁，并将其作为基本建模单元，避免了与原始点级时间步长相关的稀疏语义。第二，我们设计了一个完全卷积块，巧妙地集成了深度卷积和点卷积操作，采用Transformer编码器中使用的先进建模风格，使得该主干网络能够有效捕捉全局序列和跨变量依赖，因为它不仅融入了Transformer架构的进展，还继承了卷积的固有属性。此外，通过灵活控制核大小，可以学习给定时间序列实例的多尺度表示。我们在时间序列预测和分类任务上进行了广泛的实验。结果在大多数情况下在有效性方面始终优于强基线。代码已公开发布。

    Mar, 2024

  • sTransformer：用于时间序列预测的模块化方法，提取序列间和时间信息

    本研究针对现有Transformer模型在长期时间序列预测中的不足，提出了sTransformer，结合序列和时间卷积网络（STCN）以及序列引导的掩码注意机制，从而有效捕捉序列间和时间信息，同时保持模块可扩展性。研究结果表明，该模型在长期时间序列预测任务上超过了现有先进模型，为时间序列任务提供了可靠的基线。

    Aug, 2024

  • PRformer：用于多变量时间序列预测的金字塔递归变换器

    本研究解决了传统变换器在时间序列预测中对位置嵌入的依赖，限制了其对时间序列的有效表示，尤其是较长回顾窗口的情况。通过将金字塔递归神经网络嵌入（PRE）与多变量依赖建模的能力结合，提出的PRformer模型在多个实际数据集上展现了显著的性能提升，强调了时间序列表示的关键作用。

    Aug, 2024

  • 利用图像变换和扩散模型进行短期和长期时间序列的生成建模

    本研究解决了现有时间序列生成模型在处理短期和长期序列时的局限性。我们提出将序列转换为图像的方法，使得可以使用先进的扩散视觉模型，并在同一框架中有效处理不同长度的输入。实验结果显示，我们的方法在各项任务中均达到了优于先前模型的状态-of-the-art水平，特别是在无条件生成任务中，有显著的性能提升。

    Oct, 2024