Mar, 2024

ARNN：用于识别癫痫发作的多通道脑电信号的注意力循环神经网络

PDF
TL;DR我们提出了一种注意力循环神经网络 (ARNN)，它在序列上循环应用注意力层，并具有与序列长度线性复杂度的特点。该模型在多通道脑电图信号上操作，利用并行计算。我们的架构受注意力层和长短期记忆 (LSTM) 单元的启发，它使用长短样式门进行扩展，并通过数倍的扩展来并行化处理多通道脑电图信号。经过广泛的实验评估，包括 CHB-MIT、UPenn 和 Mayos Clinic CHB-MIT 数据集，实证结果表明 ARNN 模型在各种任务中表现优于 LSTM、Vision Transformer (ViT)、Compact Convolution Transformer (CCT) 和 R-Transformer (RT) 等基准方法，展示出卓越的性能和更快的处理能力。代码已在 https://github.com/Salim-Lysiun/ARNN 上公开获取。
attentive recurrent neural networkmulti-channel eeg signalsattention layerlong short-term memorybaseline methods
发现论文，激发创造
  • TA-RNN：一种基于注意力的、面向时间的递归神经网络架构，用于电子病历

    提出了两种基于 RNN 的可解释 DL 结构，即 TA-RNN 和 TA-RNN-Autoencoder，用于在下次访问和多次访问中预测患者的临床结果。实验证明，这些模型在预测阿尔茨海默病和死亡的性能方面超过了其他方法，并且在包括可变时间间隔的数据中也表现出色。

    Jan, 2024

  • 使用注意力模型进行临床时间序列分析

    该论文针对临床时间序列数据，采用注意力机制代替循环神经网络，提出了一种新的架构 SAnD（Simply Attend and Diagnose），并证明该方法在多项诊断任务中表现优异，胜过 LSTM 模型和基于手工特征的经典基线模型。

    Nov, 2017

  • 注意力作为一个 RNN

    Transformers 在序列建模中取得了重大突破，但计算开销较大，本文提出了一种新的高效计算 attention 的方法，引入了名为 Aaren 的 attention-based 模块，使其能够像 Transformers 一样并行训练，同时像传统的 RNN 一样高效地更新新的 tokens，从而在多个序列问题上取得了可比较的性能，同时具有更高的时间和内存效率。

    May, 2024

  • EleAtt-RNN：为循环神经网络中的神经元添加注意力机制

    本研究提出了一种名为 Element-wise-Attention Gate 的方法，该方法可以被简单地添加到任何递归神经网络中，以实现对输入向量元素的不同重要性级别进行注意力调控，从而显着提高其表现。

    Sep, 2019

  • 为循环神经网络中的神经元增加关注度

    本文提出在 RNN block 中添加 Element-wiseAttention Gate 来实现注意力功能，通过元素级而不是输入级的自适应调节，从而提高 RNN 的效能，在人体动作识别任务中进行了实验并验证了该方法的有效性。

    Jul, 2018

  • 基于视觉注意力的无序 RNN 多标签分类

    本文提出了用于多标签分类的联合学习注意力和循环神经网络模型，可有效利用注意力和 LSTM 模型，并且扩展了 beam 搜索技术以提高效率。

    Jul, 2017

  • 多麦克风距离语音识别中的听觉关注循环模型

    本文提出了一种神经注意力网络来直接合并多通道音频以生成语音状态，无需任何关于麦克风布置的先前知识或任何用于语音增强的显式信号预处理。

    Nov, 2015

  • ChronoNet: 一种用于异常 EEG 识别的深度循环神经网络

    本文介绍了一种基于 RNN 的神经网络 ChronoNet，通过对 EEG 数据进行自动分析来诊断癫痫等脑部疾病。ChronoNet 可显著提高患者诊断水平，并成功地应用于分类语音命令。

    Jan, 2018

  • 基于 EEG 的低占用和低延迟听觉注意力检测的 Corticomorphic 混合 CNN-SNN 结构

    本文提出了一种受听觉皮层启发的混合卷积神经网络 - 脉冲神经网络（CNN-SNN）器件，使用 EEG 数据及多说者语音包络成功计算出空间定位，并取得了 91.03% 的高精度，同时相较于传统方法，参数使用降低了 15%，存储空间降低了 57%，并具有较大的应用潜力，特别推荐应用于智能助听器等装置上。

    Jul, 2023

  • 门控循环神经网络发现注意力

    近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

    Sep, 2023