Mar, 2022

基于并行时空注意力的 TCN 模型用于多元时间序列预测

PDF
TL;DR该论文介绍了一种新的框架 PSTA-TCN，该框架将并行时空关注机制与轴承温网络相结合，从而达到了更长的记忆，并且使用并行计算大大缩短了训练时间，可以更好地用于多元时间序列预测任务。
multivariate time series predictionrecurrent neural networktemporal convolutional networksparallel spatio-temporal attention mechanismpsta-tcn
发现论文，激发创造
  • 基于时间卷积关注的序列模型网络

    我们提出了一种基于时间卷积网络和注意力机制的探索性架构称为 TCAN，它不仅能够实现递归网络的近似替代，还可以吸收前向模型的优势，提高了 word-level PTB、character-level PTB 和 WikiText-2 等文本数据集的 bpc/perplexity 表现.

    Feb, 2020

  • STCN：随机时态卷积网络

    本文提出了一种新的 STCN 体系结构，其将时间卷积网络（TCN）的计算优势与具有不同时间尺度的时间依赖性的随机潜在空间的表示能力和鲁棒性相结合，提高了多个任务的对数似然度，并且在手写文本建模中能够预测长时间跨度内的高质量合成样本。

    Feb, 2019

  • 多元时间序列预测的时间模式关注

    本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

    Sep, 2018

  • 通过本地对齐分布式表示进行循环神经网络的持续学习

    本文提出了一种基于局部表示对齐算法训练的并行时间神经编码网络 (P-TNCN)，用以解决通过时间反向传播所存在的困难和问题，比如序列建模基准测试中表现优异，具有零 - shot 适应能力和在线连续序列建模的能力。

    Oct, 2018

  • 交通流量预测的时空转换网络

    本文提出了一种新的空间 - 时间变换网络的范例来改善长期交通预测的准确性，其中使用图神经网络和自注意机制来动态建模交通数据中的有向空间相关性，并利用跨多个时间步骤的长程双向时间依赖性。实验证明，该模型在 Real-world 数据集上预测交通流量方面的性能要好于现有工作。

    Jan, 2020

  • 基于注意力机制的时空图卷积循环神经网络用于交通预测

    本文提出了一种新的空间 - 时间神经网络框架 ASTGCRN，其中包括图卷积循环模块 GCRN 和全局注意力模块，以有效地对运输数据进行复杂的时空依赖性和相关性建模，并采用三个独立模块的时间关注层来实现对全局时间依赖性的有效提取。实验结果表明，这三个模型均具有极佳的预测表现优于基准方法。

    Feb, 2023

  • DSTP-RNN：双阶段、两阶段注意力机制的循环神经网络，用于长期和多变量时间序列预测

    本文提出了基于双阶段两阶段模型的循环神经网络以及基于深度空间注意机制的深度双阶段两阶段模型，用于解决长期多元时间序列预测的问题，并在能源、金融、环境和医药等领域的四个数据集上，与九种基准方法相比展现出更好的性能。

    Apr, 2019

  • NAC-TCN: 基于因果稀疏邻域注意力的时序卷积网络用于情感理解

    视频情感识别是通过一系列方法如 GRUs、LSTMs、自注意力机制、Transformers 和 TCNs 改善了基于视频情感识别，然而这些方法存在内存使用高、操作量大或梯度下降不良的问题。我们提出了一种称为邻域注意力与卷积 TCN（NAC-TCN）的方法，它结合了注意力和时序卷积网络的优点，并确保理解因果关系，从而减少计算和内存成本。我们的模型在标准的情感识别数据集上比 TCNs、TCAN、LSTMs 和 GRUs 取得了相当好或最先进的性能，并且需要较少的参数。我们在线发布了我们的代码，以便其他项目能够轻松复现和使用。

    Dec, 2023

  • 交通流预测的自适应图空时转换网络

    该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

    Jul, 2022

  • GraphTCN: 人类轨迹预测的时空交互模型

    本研究提出了基于 CNN 的时空图形框架 GraphTCN，通过将空间交互作为社交图形进行建模，并使用修改的时间卷积网络来捕捉时空交互。实验结果证实，该模型在各种轨迹预测基准数据集上实现了更高的性能和更高的准确性。

    Mar, 2020