IJCAIApr, 2017

用于时间序列预测的双阶段注意力循环神经网络

PDF
TL;DR提出了一种双阶段基于注意力机制的递归神经网络（DA-RNN）模型，该模型使用输入和时间注意力机制，能够更好地捕获时间序列的长期时间依赖关系和选择相关的驱动因素以进行预测。实验证明，DA-RNN 模型比时序预测中的现有模型更有效。
narx modelrecurrent neural networkinput attention mechanismtemporal attention mechanismtime series prediction
发现论文，激发创造
  • DSTP-RNN：双阶段、两阶段注意力机制的循环神经网络，用于长期和多变量时间序列预测

    本文提出了基于双阶段两阶段模型的循环神经网络以及基于深度空间注意机制的深度双阶段两阶段模型，用于解决长期多元时间序列预测的问题，并在能源、金融、环境和医药等领域的四个数据集上，与九种基准方法相比展现出更好的性能。

    Apr, 2019

  • 多元时间序列的双注意力网络分类

    利用双重关注 (dual attention) 的方法，我们在本研究中探索了一种新型网络 (DA-Net)，用于提取多元时间序列分类的局部和全局特征。DA-Net 由 Squeeze-Excitation Window Attention (SEWA) 层和 Sparse Self-Attention within Windows (SSAW) 层组成，可以提取必要的局部序列片段，并建立基于这两个扩展层的全局长距离依赖关系。

    Aug, 2023

  • 多元时间序列预测的时间模式关注

    本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

    Sep, 2018

  • 使用注意力模型进行临床时间序列分析

    该论文针对临床时间序列数据，采用注意力机制代替循环神经网络，提出了一种新的架构 SAnD（Simply Attend and Diagnose），并证明该方法在多项诊断任务中表现优异，胜过 LSTM 模型和基于手工特征的经典基线模型。

    Nov, 2017

  • TA-RNN：一种基于注意力的、面向时间的递归神经网络架构，用于电子病历

    提出了两种基于 RNN 的可解释 DL 结构，即 TA-RNN 和 TA-RNN-Autoencoder，用于在下次访问和多次访问中预测患者的临床结果。实验证明，这些模型在预测阿尔茨海默病和死亡的性能方面超过了其他方法，并且在包括可变时间间隔的数据中也表现出色。

    Jan, 2024

  • DRAformer：用于时间序列预测的差分重构注意力变换器

    提出了一种基于转换器的差分重构注意模型 DRAformer，该模型通过使用差分进行稳定特征表示和集中关注序列属性解决时间序列预测中存在的问题，在四个大规模数据集上表现出了优越性。

    Jun, 2022

  • 分析和利用 NARX 递归神经网络实现长期依赖

    介绍一种名为 MIST RNNs 的 NARX RNN 架构，能够直接连接远处的过去，并在需要非常长期的依赖性任务中比 LSTM 和 Clockwork RNNs 表现更好，且具有更好的消失梯度特性。

    Feb, 2017

  • 基于位置的内容注意力的序列到序列循环神经网络用于时间序列预测

    本文提出了一种扩展注意力模型，用于捕捉时间序列中的 (伪) 周期，并且可以部署在任何 RNN 之上，已在多个单变量和多变量时间序列预测任务中成功实现了最佳性能。

    Mar, 2017

  • 可解释的 LSTM 神经网络用于自回归外生模型

    文中提出了一种可解释的 LSTM 递归神经网络，即具有外生变量的时间序列的多变量 LSTM。该方法通过引入张量化的隐藏状态，学习每个变量的特定表示，从而实现了时间和变量级别的注意力，与统计 Granger 因果测试的变量重要性高度吻合。这一多变量 LSTM 模型可用于预测和知识发现的简单统一的端到端框架。

    Apr, 2018

  • 在流形上使用自回归模型模拟复杂系统动态（mNARX）

    我们提出了一种名为 mNARX 的新型代理建模方法，它通过构建最佳外部输入流形来有效而精确地近似对长时间的、受时间变化的外部激励驱动的复杂动态系统反应，可用于高维输入的系统，并已成功地应用于弹簧质量耦合系统和风能涡轮机模拟器的动态系统建模中。

    Jun, 2023