变量时间序列变压器中的关联注意力

Nov, 2023

变量时间序列变压器中的关联注意力

Correlated Attention in Transformers for Multivariate Time Series

Quang Minh Nguyen, Lam M. Nguyen, Subhro Das

TL;DR我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

Abstract

Multivariate time series (MTS) analysis prevails in real-world applications such as finance, climate science and healthcare. The various self-attention mechanisms, the backbone of the state-of-the-art transformer-based models, efficiently discover the temporal dependencies, yet cannot

multivariate time series analysis self-attention mechanisms correlated attention mechanism transformer-based models encoder-only architectures

发现论文，激发创造

多元时间序列预测中的关注机制再访

该研究提出了一种基于频率域空间的新型注意力机制 Frequency Spectrum attention (FSatten) 和一种更通用的方法 Scaled Orthogonal attention (SOatten)，它们能更准确地捕捉序列之间的周期依赖性，超过了常规注意力的最新方法，成为多元时间序列预测的一个良好的基础性注意力机制替代方案。

Jul, 2024

使用时间序列注意力变换器将多元时间序列表达为图形

该研究提出了一个名为 TSAT 的多元时间序列表示学习方法，使用动态图来表示时间信息和各变量间的相互关系，并将其应用于时间序列预测问题，实验证明 TSAT 的预测性能显著优于六种先进方法。

Aug, 2022

VCformer：具有内在滞后相关性的多元时间序列预测中的变量相关变压器

多元时间序列预测：提出了 Variable Correlation Transformer (VCformer) 模型，通过 Variable Correlation Attention (VCA) 模块挖掘变量之间的相关性，并结合 Koopman Temporal Detector (KTD) 来处理时间序列的非平稳性，实验证明 VCformer 在真实数据集上取得了优异的性能。

May, 2024

注意力作为稳健的时间序列预测表示

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

一种内存高效 Transformer 的分组自注意机制

提出了两个新的模块，Grouped Self-Attention 和 Compressed Cross-Attention，可在小超参数限制下实现序列长度为 $l$ 的 $O (l)$ 的计算空间和时间复杂度，并且可以捕捉局部的同时考虑全局信息，实验表明，预测时间序列数据时，我们提出的模型展示了降低计算复杂度的高效性，且性能可与现有方法相当甚至更好。

Oct, 2022

MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

Feb, 2023

TACTiS: 用于时间序列的 Transformer-Attentional Copulas

本文提出一种基于 Transformer 的方法来估计高维多变量时间序列的联合预测分布，该方法基于注意力机制的解码器能可靠地模拟非参数 Copulas 的特性，使得模型具有多种有用的属性，其中包括可以缩放到数百个时间序列，支持预测和插值，可以处理非对齐和不均匀采样的数据，并可以在训练期间无缝地适应缺失数据，最终的实证结果表明我们的模型在多个真实数据集上都可以产生有竞争力的预测效果。

Feb, 2022

Transformer 追踪

本文提出了一种基于 Transformer 注意力机制的特征融合方法，并将其应用于跟踪任务中。实现了在六个有挑战性的数据集上取得了很好的跟踪结果。最终得出了一个名为 TransT 的跟踪器，运行在 GPU 上的大约 50fps。

Mar, 2021

CDSA: 跨维度自注意力用于多元、地理标记时间序列插补

本论文利用自我关注机制来处理多元、地理标记的时间序列数据中的缺失值，并通过跨维度自我关注 (CDSA) 的新方法，提出了一种具有低计算复杂度的序列建模算法，超越了现有的标准预测和补全方法。

May, 2019

时间序列分类中注意力机制的反思

本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。

Jul, 2022