Nov, 2023

变量时间序列变压器中的关联注意力

PDF
TL;DR我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。
multivariate time series analysisself-attention mechanismscorrelated attention mechanismtransformer-based modelsencoder-only architectures
发现论文，激发创造
  • 使用时间序列注意力变换器将多元时间序列表达为图形

    该研究提出了一个名为 TSAT 的多元时间序列表示学习方法，使用动态图来表示时间信息和各变量间的相互关系，并将其应用于时间序列预测问题，实验证明 TSAT 的预测性能显著优于六种先进方法。

    Aug, 2022

  • VCformer：具有内在滞后相关性的多元时间序列预测中的变量相关变压器

    多元时间序列预测：提出了 Variable Correlation Transformer (VCformer) 模型，通过 Variable Correlation Attention (VCA) 模块挖掘变量之间的相关性，并结合 Koopman Temporal Detector (KTD) 来处理时间序列的非平稳性，实验证明 VCformer 在真实数据集上取得了优异的性能。

    May, 2024

  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024

  • 一种内存高效 Transformer 的分组自注意机制

    提出了两个新的模块，Grouped Self-Attention 和 Compressed Cross-Attention，可在小超参数限制下实现序列长度为 $l$ 的 $O (l)$ 的计算空间和时间复杂度，并且可以捕捉局部的同时考虑全局信息，实验表明，预测时间序列数据时，我们提出的模型展示了降低计算复杂度的高效性，且性能可与现有方法相当甚至更好。

    Oct, 2022

  • MTS-Mixers: 因式分解时空和通道混合进行多元时间序列预测

    本文研究关注机制在时间序列预测性能上的作用，提出 MTS-Mixers 来解决捕获时间和通道互动中的交错和冗余问题，并证明了关注机制不是捕获时间依赖关系的必要条件。

    Feb, 2023

  • TACTiS: 用于时间序列的 Transformer-Attentional Copulas

    本文提出一种基于 Transformer 的方法来估计高维多变量时间序列的联合预测分布，该方法基于注意力机制的解码器能可靠地模拟非参数 Copulas 的特性，使得模型具有多种有用的属性，其中包括可以缩放到数百个时间序列，支持预测和插值，可以处理非对齐和不均匀采样的数据，并可以在训练期间无缝地适应缺失数据，最终的实证结果表明我们的模型在多个真实数据集上都可以产生有竞争力的预测效果。

    Feb, 2022

  • Transformer 追踪

    本文提出了一种基于 Transformer 注意力机制的特征融合方法，并将其应用于跟踪任务中。实现了在六个有挑战性的数据集上取得了很好的跟踪结果。最终得出了一个名为 TransT 的跟踪器，运行在 GPU 上的大约 50fps。

    Mar, 2021

  • CDSA: 跨维度自注意力用于多元、地理标记时间序列插补

    本论文利用自我关注机制来处理多元、地理标记的时间序列数据中的缺失值，并通过跨维度自我关注 (CDSA) 的新方法，提出了一种具有低计算复杂度的序列建模算法，超越了现有的标准预测和补全方法。

    May, 2019

  • 时间序列分类中注意力机制的反思

    本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。

    Jul, 2022

  • 高性能 Transformer 追踪

    该论文提出了一种基于注意力机制的特征融合网络，可以有效地结合模板和搜索区域的特征，解决相关操作在设计高精度跟踪算法时可能遇到的局部最优问题。实验结果表明，该方法在七个流行数据集上取得了有前途的成果。

    Mar, 2022