Aug, 2023

多元时间序列的双注意力网络分类

PDF
TL;DR利用双重关注 (dual attention) 的方法，我们在本研究中探索了一种新型网络 (DA-Net)，用于提取多元时间序列分类的局部和全局特征。DA-Net 由 Squeeze-Excitation Window Attention (SEWA) 层和 Sparse Self-Attention within Windows (SSAW) 层组成，可以提取必要的局部序列片段，并建立基于这两个扩展层的全局长距离依赖关系。
multivariate time series classificationdual attentionlocal and global featuressqueeze-excitation window attention (sewa) layersparse self-attention within windows (ssaw) layer
发现论文，激发创造
  • 基于图注意力网络的多变量时间序列异常检测

    本文提出了一个新的自监督多元时间序列异常检测框架，使用图注意力层显式地捕获时间序列之间的关系，并结合预测 和重构的方法来获得更好的时间序列表示，实验结果表明该方法在真实数据集上表现优异且具有良好的可解释性。

    Sep, 2020

  • 学习图像去雨变换网络 with 动态双自注意力

    该论文提出了一种基于 Transformer 的图像去雨算法，结合了密集和稀疏自注意力机制，通过选择最有用的相似性值和空间增强的前馈网络来提高去雨效果。实验证明了该方法的有效性。

    Aug, 2023

  • 双重注意力网络用于场景分割

    本文通过应用双重注意力网络 (DANet) 和自注意力机制来捕捉语境相关性，以实现更准确的场景分割，在 Cityscapes 数据集上取得了 81.5% 的平均 IoU 得分，并提供了相应的代码和训练模型。

    Sep, 2018

  • 不规则采样时间序列的多时间注意力网络

    本篇论文针对电子健康档案中所涉及的稀疏、不规则采样、多变量的生理时序数据提出一种名为 Multi-Time Attention Networks 的多时间注意网络的深度学习框架，并使用多个数据集进行内插和分类任务的性能研究，结果表明该框架的性能优于许多基线和最近提出的模型，同时提供了比当前最先进方法更快的训练速度。

    Jan, 2021

  • 用于方面级情感分类的双重关注模型

    提出了一种新的双重注意模型 (DAM) 用于方面级情感分类，该模型使用依存标签作为关注机制以提高性能，并在 SemEval 2014 和 Twitter 数据集上进行实验，取得了良好的效果。

    Mar, 2023

  • 用于时间序列预测的双阶段注意力循环神经网络

    提出了一种双阶段基于注意力机制的递归神经网络（DA-RNN）模型，该模型使用输入和时间注意力机制，能够更好地捕获时间序列的长期时间依赖关系和选择相关的驱动因素以进行预测。实验证明，DA-RNN 模型比时序预测中的现有模型更有效。

    Apr, 2017

  • 一种内存高效 Transformer 的分组自注意机制

    提出了两个新的模块，Grouped Self-Attention 和 Compressed Cross-Attention，可在小超参数限制下实现序列长度为 $l$ 的 $O (l)$ 的计算空间和时间复杂度，并且可以捕捉局部的同时考虑全局信息，实验表明，预测时间序列数据时，我们提出的模型展示了降低计算复杂度的高效性，且性能可与现有方法相当甚至更好。

    Oct, 2022

  • 序列到序列模型中对话行为预测的注意力引导

    采用 Seq2Seq 模型进行对话行为分类预测，不需要手动特征处理，其在 SwDA 和 MRDA 数据集上获得了高准确率的成果。

    Feb, 2020

  • 视频级标签时间定位的多注意力网络

    本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

    Nov, 2019

  • 适用于序列分类的神经注意力模型：分析及其在关键术语提取和对话行为检测中的应用

    本文研究探讨了应用于对话行为检测和关键词提取的神经注意力模型在序列分类任务中的应用和作用，并通过实验结果和可视化分析验证了该模型在去除噪音和提取关键信息方面的表现。

    Mar, 2016