本文提出了一个新的自监督多元时间序列异常检测框架，使用图注意力层显式地捕获时间序列之间的关系，并结合预测 和重构的方法来获得更好的时间序列表示，实验结果表明该方法在真实数据集上表现优异且具有良好的可解释性。

Sep, 2020

本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

Sep, 2018

本文介绍一种基于变分自编码器和生成对抗网络的编码器 - 解码器框架，用于学习不规则采样的时间序列数据，提出了一种连续卷积层用于与现有神经网络体系结构高效对接。实验证明，该模型在不规则多元时间序列分类的结果上可以比最近的 RNN 模型表现得更好，同时具有显著更快的训练速度。

Aug, 2020

本文提出了一种新的深度学习架构，以解决稀疏和不规则采样的多变量时间序列的监督学习问题，该架构基于半参数插值网络，其允许在插值阶段跨多个时间序列维度共享信息，同时预测网络可以使用任何标准的深度学习模型。我们研究了该架构在分类和回归任务中的性能，并表明我们的方法优于一系列基线模型和最近提出的模型。本研究的动机是对在电子健康记录中的生理时间序列数据的分析，这些数据稀疏、不规则采样和多元。

Sep, 2019

不规则采样的多变量时间序列是各种应用领域中普遍存在的现象，本文提出了一种名为时间参数化卷积神经网络（TPCNN）的新型神经网络架构，特别适用于处理不规则时间序列数据，我们对 TPCNN 进行了插值和分类任务的实验评估并与其他最先进方法进行了比较，结果表明 TPCNN 模型不仅具有竞争性的性能，而且比其他方法更高效。同时，该架构利用可学习的时间函数的组合，提高了网络性能和序列输入的可解释性，在该领域中首次应用卷积操作。

Aug, 2023

提出了一种新的模型架构，包括动态局部注意机制（DLA）和分层 MLP 混合器（hierarchical MLP mixer），以解决临床和医疗领域中普遍存在的不规则多变量时间序列数据的挑战。该模型在三个真实世界数据集上表现优于现有方法，包括最新的临床 MIMIC IV 数据集。

Nov, 2023

一篇研究时间序列的多变量预测的可解释神经网络模型，通过循环神经网络学习数据的时间依赖性，配合基于注意力的特征选择组件来选择最相关和抑制冗余的特征，通过独立训练选定特征的模块化深度网络，展示特征对结果的影响，从而使模型可解释。实验结果表明，该方法在时间序列的回归和分类任务中优于现有的可解释神经加性模型（NAM）及其变体，且达到与时间序列的非可解释方法 LSTM 和 XGBoost 相媲美的预测性能。

Nov, 2023

本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

Nov, 2019

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

该论文针对临床时间序列数据，采用注意力机制代替循环神经网络，提出了一种新的架构 SAnD（Simply Attend and Diagnose），并证明该方法在多项诊断任务中表现优异，胜过 LSTM 模型和基于手工特征的经典基线模型。

Nov, 2017