May, 2024

粗糙变压器：轻量级连续时间序列建模与路径特征

PDF
TL;DR在处理非均匀间隔的时间序列数据时，传统的循环模型表现不佳，研究人员通常会使用基于神经常微分方程的模型和基于 Transformer 的模型来解决长程依赖和不规则采样数据的问题。为了解决这一挑战，本文引入了 Rough Transformer，一种在连续时间表示中操作的 Transformer 模型，大大降低了计算成本。我们提出了 “多视图签名注意力”，使用路径签名增强了原始注意力机制，捕捉了输入数据的本地和全局依赖关系，并对序列长度和采样频率的变化保持鲁棒性，并获得了空间处理的改进效果。我们发现，Rough Transformers 在各种时间序列相关任务中始终优于传统的注意力机制，同时获得了神经常微分方程模型的表征优势，并且仅消耗计算时间和内存资源的一小部分。
发现论文，激发创造
  • 用于连续高效时间序列建模的粗糙变换器

    在医学背景下，基于时间序列的数据通常具有长程依赖并且在非均匀时间间隔下进行观察。为了解决这个问题，研究者们用基于神经 ODE 的模型取代了传统的基于序列的循环模型，来对不规则采样的数据进行建模，并使用基于 Transformer 的架构解决长程依赖的问题。尽管这两种方法都取得了成功，但是对于中等长度的输入序列而言，它们都需要非常高的计算代价。为了缓解这个问题，我们引入了 Rough Transformer，这是 Transformer 模型的一种变体，它能够对连续时间表示的输入序列进行操作，并且具有显著减少的计算代价，这对于处理医疗背景下的长程依赖是至关重要的。具体而言，我们提出了多视角签名注意力，它利用路径签名来增强原始注意力，并在输入数据中捕捉局部和全局依赖关系，同时对序列长度和采样频率的变化保持稳健性。我们发现，Rough Transformers 在合成和真实的时间序列任务中，始终优于其原始注意力对照组，并且只需要部分计算时间和存储资源，就能够获得基于神经 ODE 模型的好处。

    Mar, 2024

  • R-Transformer：加强循环神经网络的 Transformer 模型

    本文提出了 R-Transformer 模型，结合了 RNN 和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer 优于最先进的方法。

    Jul, 2019

  • ContiFormer：用于不规则时间序列建模的连续时间 Transformer

    ContiFormer 是一种扩展了 Transformer 关系建模到连续时间领域的模型，将 Neural ODEs 的连续动态建模能力与 Transformer 的注意机制相结合，具有优越的建模能力和对于不规则时间序列数据的预测性能。

    Feb, 2024

  • 用 Transformer 预测常微分方程

    我们使用基于 Transformer 的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过广泛的实证评估，我们证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性：在一次对大量 ODE 进行预先训练后，我们可以在模型的几次正向传递中推断出新观测解的控制规律。

    Jul, 2023

  • 关于循环模型在长序列中的复兴：变形器时代的调研和研究机会

    深度学习中基于 Transformer 和循环神经网络的顺序处理对于处理长序列数据和无限长度序列数据具有重要意义。

    Feb, 2024

  • TimelyGPT: 长时序表示的循环卷积变换器

    该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

    Nov, 2023

  • 深度学习下重新思考时间序列预测：一步前行两步退后

    本文介绍了 Transformer 在时间序列预测方面的应用，探讨了其局限性，并提出了一系列更好的性能和更少复杂度的其他模型。

    Apr, 2023

  • 应用注意力机制的 Transformer 模型进行下一帧和时间序列预测

    测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

    Aug, 2021

  • DRAformer：用于时间序列预测的差分重构注意力变换器

    提出了一种基于转换器的差分重构注意模型 DRAformer，该模型通过使用差分进行稳定特征表示和集中关注序列属性解决时间序列预测中存在的问题，在四个大规模数据集上表现出了优越性。

    Jun, 2022

  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024