Jul, 2022

时间序列分类中注意力机制的反思

PDF
TL;DR本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。
发现论文，激发创造
  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024

  • 变量时间序列变压器中的关联注意力

    我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

    Nov, 2023

  • 多元时间序列预测的时间模式关注

    本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

    Sep, 2018

  • 用于稳健序列分类的时间注意力门控模型

    本文提出了一种称为 Temporal Attention-Gated Model (TAGM) 的模型，将注意力模型和门控循环网络的思想集成在一起，以更好地处理嘈杂或未分段的序列，实现了更好的预测准确性和可解释性，这在口头数字识别，基于文本的情感分析和视觉事件识别等三个不同的任务中得到了证明。

    Dec, 2016

  • 基于时间卷积关注的序列模型网络

    我们提出了一种基于时间卷积网络和注意力机制的探索性架构称为 TCAN，它不仅能够实现递归网络的近似替代，还可以吸收前向模型的优势，提高了 word-level PTB、character-level PTB 和 WikiText-2 等文本数据集的 bpc/perplexity 表现.

    Feb, 2020

  • 一种内存高效 Transformer 的分组自注意机制

    提出了两个新的模块，Grouped Self-Attention 和 Compressed Cross-Attention，可在小超参数限制下实现序列长度为 $l$ 的 $O (l)$ 的计算空间和时间复杂度，并且可以捕捉局部的同时考虑全局信息，实验表明，预测时间序列数据时，我们提出的模型展示了降低计算复杂度的高效性，且性能可与现有方法相当甚至更好。

    Oct, 2022

  • 用层级修补的动态局部注意力处理不规则临床时间序列

    提出了一种新的模型架构，包括动态局部注意机制（DLA）和分层 MLP 混合器（hierarchical MLP mixer），以解决临床和医疗领域中普遍存在的不规则多变量时间序列数据的挑战。该模型在三个真实世界数据集上表现优于现有方法，包括最新的临床 MIMIC IV 数据集。

    Nov, 2023

  • 不规则采样时间序列的多时间注意力网络

    本篇论文针对电子健康档案中所涉及的稀疏、不规则采样、多变量的生理时序数据提出一种名为 Multi-Time Attention Networks 的多时间注意网络的深度学习框架，并使用多个数据集进行内插和分类任务的性能研究，结果表明该框架的性能优于许多基线和最近提出的模型，同时提供了比当前最先进方法更快的训练速度。

    Jan, 2021

  • 基于视觉转换器的脑肿瘤分类方法，借助选择性跨注意力机制和特征校准

    提出了一种利用具有新型跨注意力机制的视觉变换器进行脑肿瘤分类的新方法，该方法充分发挥了变换器在建模长距离依赖性和多尺度特征融合方面的优势。实验证明，该方法在脑肿瘤分类中胜过其他最先进的方法，实现了更高的准确性和效率。所提出的特征校准机制和选择性交叉注意机制可以很容易地集成到其他视觉变换器架构中，成为医学图像分析领域未来研究的有希望的方向。

    Jun, 2024

  • 自注意力是否对时间序列预测有效？

    我们介绍了一个新的架构，交叉注意力时间序列变换器（CATS），它通过消除自注意力并利用交叉注意力机制来重新思考传统 Transformer 框架，不仅提高长期预测精度，还减少参数和内存使用。大量对各种数据集进行的实验表明，我们的模型在最小均方误差和参数使用方面实现了卓越的性能。

    May, 2024