本文提出了一组用于时间序列预测的方法，包括两种基于时间的事件表示方法和两种使用下一个事件持续时间作为正则化的方法，并通过基于 RNN 的实验评估，证明这些方法可以提高准确性。

Jul, 2017

该论文提出了一种基于时间注意力的尖峰神经网络模型来处理事件流，能够有效地提取时空特征，提高分类准确率。

Jul, 2021

本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

Sep, 2018

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

我们提出了一种简单而高效的方法，通过在注意力矩阵上直接应用可学习的自适应卷积核，使注意力层能更好地编码这些数据集的短期时间偏差。在实验中，我们选择了使用电子健康记录（EHR）数据集的各种预测任务，因为它们是具有底层长期和短期时间依赖性的绝佳示例。我们的实验结果表明，在大多数任务和数据集上，与表现最佳的模型相比，我们的分类结果非常出色。

Oct, 2023

该研究提出了一种时间感知的自注意力机制 —— 时间注意力，用于任何基于变形器模型的预训练语言模型中，以捕捉上下文中的时间信息，并应用于语义变化检测任务，在三个不同语言的数据集上取得最先进的结果。

Feb, 2022

基于历史序列预测未来序列的时空预测学习提供了一种自监督学习范式，主流方法利用循环单元进行建模，但循环单元的并行性不足，常常在现实场景中表现欠佳。为了在保持计算效率的同时提高预测质量，我们提出了一种创新的三元注意力变换器，在设计上捕捉了帧间动态与帧内静态特征。通过将 Triplet Attention Module (TAM) 整合到模型中，我们取代了传统的循环单元，并对时空和通道维度中的自注意力机制进行了深入探索。在这种配置下：(i) 时序标记包含了帧间的抽象表示，有助于捕捉固有的时序依赖性；(ii) 空间和通道的注意力结合，通过在空间和通道维度上进行细粒度交互来改进帧内表示。交替运用时序、空间和通道级别的注意力使得我们的方法能够学习更复杂的短程和长程时空依赖关系。广泛的实验表明，我们的方法在移动物体轨迹预测、交通流预测、驾驶场景预测和人体动作捕捉等多种场景下性能超过了现有的基于循环和非循环方法，达到了最先进水平。

Oct, 2023

提出了一种利用 self-attention 机制进行 intensity function 拟合的 self-attentive Hawkes process 方法，相较于传统的统计方法和深度循环神经网络，该方法能更好地识别时间事件之间的复杂依赖关系，并且能够捕捉更长的历史信息，可以针对多变量事件序列进行有效的复杂模式预测。

Jul, 2019

本文提出了一种扩展注意力模型，用于捕捉时间序列中的 (伪) 周期，并且可以部署在任何 RNN 之上，已在多个单变量和多变量时间序列预测任务中成功实现了最佳性能。

Mar, 2017

本研究提出了一种新型的自调节注意力网络来学习动态用户偏好，并在三个大规模真实数据集上实验表明，该模型可以实现最先进的顺序推荐性能。

Mar, 2022