提出了两个新的模块，Grouped Self-Attention 和 Compressed Cross-Attention，可在小超参数限制下实现序列长度为 $l$ 的 $O (l)$ 的计算空间和时间复杂度，并且可以捕捉局部的同时考虑全局信息，实验表明，预测时间序列数据时，我们提出的模型展示了降低计算复杂度的高效性，且性能可与现有方法相当甚至更好。

Oct, 2022

我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

Nov, 2023

这项研究提出了一种新颖的方法来解决多元时间序列中缺失数据的挑战，特别关注医疗数据的复杂性。我们的条件自注意力填补模型（CSAI），基于变换器框架，引入了针对医学时间序列数据的条件隐藏状态初始化。此方法与传统填补技术不同之处在于专门针对医疗数据集中经常被忽视的缺失数据分布的不平衡进行调整。通过整合先进的知识嵌入和非均匀掩蔽策略，CSAI 能够灵活调整至电子病历中缺失数据的独特模式。

Dec, 2023

本篇论文针对电子健康档案中所涉及的稀疏、不规则采样、多变量的生理时序数据提出一种名为 Multi-Time Attention Networks 的多时间注意网络的深度学习框架，并使用多个数据集进行内插和分类任务的性能研究，结果表明该框架的性能优于许多基线和最近提出的模型，同时提供了比当前最先进方法更快的训练速度。

Jan, 2021

该研究使用多头自注意机制并修改时间注意编码器，以有效处理全球规模的卫星图像时间序列分类，提高时间序列分类的准确性和效率。在开放访问的卫星图像数据集中，使用更少的参数和降低计算复杂度，该方法优于其他现有的时间序列分类算法。

Jul, 2020

利用双重关注 (dual attention) 的方法，我们在本研究中探索了一种新型网络 (DA-Net)，用于提取多元时间序列分类的局部和全局特征。DA-Net 由 Squeeze-Excitation Window Attention (SEWA) 层和 Sparse Self-Attention within Windows (SSAW) 层组成，可以提取必要的局部序列片段，并建立基于这两个扩展层的全局长距离依赖关系。

Aug, 2023

研究通过一种基于领域知识的稀疏自注意力模型，对缺失的步数数据进行填补，以衡量该模型相对于基准模型的性能并进行消融研究。

Jun, 2024

本文提出了一种新的针对多元时间序列数据的缺失值填补方法（STING），它利用了生成对抗网络和双向循环神经网络来学习时间序列的潜在表示，并引入一种新的自注意力机制来捕捉整个序列的加权相关性，实验结果表明，STING 在多个真实数据集上表现出比现有技术更高的填补精度和增强任务能力。

Sep, 2022

该研究介绍了一种新颖的基于地理空间分析的通道相关的注意力机制，其能够在卷积神经网络中利用特征图之间的空间关系来产生有效的通道描述符，并验证了其在图像分类、目标检测和实例分割等多个任务和数据集上相对于其他先进的基于注意力的卷积神经网络的竞争性性能和优越性。

May, 2024

基于连续时间自回归神经网络（NCDEs）的连续时间自编码器（CTA）方法，在时间序列输入中表现出最佳的填补性能。

Dec, 2023