本文提出了一种扩展注意力模型，用于捕捉时间序列中的 (伪) 周期，并且可以部署在任何 RNN 之上，已在多个单变量和多变量时间序列预测任务中成功实现了最佳性能。

Mar, 2017

该论文介绍了一种新的框架 PSTA-TCN，该框架将并行时空关注机制与轴承温网络相结合，从而达到了更长的记忆，并且使用并行计算大大缩短了训练时间，可以更好地用于多元时间序列预测任务。

Mar, 2022

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

Aug, 2021

本文提出了一个新的深度学习框架 —— Long- and Short-term Time-series network (LSTNet)， 用于解决多元时间序列预测等问题，并在复杂混合循环模式数据上实现了显著的性能提升。

Mar, 2017

该论文针对临床时间序列数据，采用注意力机制代替循环神经网络，提出了一种新的架构 SAnD（Simply Attend and Diagnose），并证明该方法在多项诊断任务中表现优异，胜过 LSTM 模型和基于手工特征的经典基线模型。

Nov, 2017

本篇论文针对电子健康档案中所涉及的稀疏、不规则采样、多变量的生理时序数据提出一种名为 Multi-Time Attention Networks 的多时间注意网络的深度学习框架，并使用多个数据集进行内插和分类任务的性能研究，结果表明该框架的性能优于许多基线和最近提出的模型，同时提供了比当前最先进方法更快的训练速度。

Jan, 2021

一篇研究时间序列的多变量预测的可解释神经网络模型，通过循环神经网络学习数据的时间依赖性，配合基于注意力的特征选择组件来选择最相关和抑制冗余的特征，通过独立训练选定特征的模块化深度网络，展示特征对结果的影响，从而使模型可解释。实验结果表明，该方法在时间序列的回归和分类任务中优于现有的可解释神经加性模型（NAM）及其变体，且达到与时间序列的非可解释方法 LSTM 和 XGBoost 相媲美的预测性能。

Nov, 2023

提出了一种名为基于记忆的时序网络的深度学习模型，具有较强的可解释性，旨在解决传统方法无法捕捉复杂模式或在多重变量中融合信息的问题。

Sep, 2018

我们提出了一种简单而高效的方法，通过在注意力矩阵上直接应用可学习的自适应卷积核，使注意力层能更好地编码这些数据集的短期时间偏差。在实验中，我们选择了使用电子健康记录（EHR）数据集的各种预测任务，因为它们是具有底层长期和短期时间依赖性的绝佳示例。我们的实验结果表明，在大多数任务和数据集上，与表现最佳的模型相比，我们的分类结果非常出色。

Oct, 2023