Oct, 2018

循环注意力单元

PDF
TL;DR本文提出一种名为 Recurrent Attention Unit 的循环神经网络模型，它将注意机制融入了 GRU 的内部结构中并通过增加 attention gate 提高了 GRU 对于长期记忆的能力，对于序列数据能够通过自适应选择序列的区域或位置并在学习过程中更加关注选定的区域，实验结果表明 RAU 在图像分类、情感分类和语言建模等方面均优于 GRU 和其他基线方法。
recurrent neural networkgated recurrent unitattention mechanismlong-term memorysequence learning
发现论文，激发创造
  • 光门循环单元（LG-RU）用于语音识别

    本篇论文提出了一种名为 Light GRU 的改进型 GRU 神经网络模型，通过删除 reset gate 和使用 ReLU 激活函数，从而提高自动语音识别任务的训练效率和识别准确率。

    Mar, 2018

  • 门控循环神经网络发现注意力

    近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

    Sep, 2023

  • 门控正交循环单元：关于遗忘学习

    本文提出了一种基于递归神经网络（RNN）的新模型，它结合了单元 RNN 的记忆能力和门控 RNN 的遗忘冗余 / 无关信息的能力，并通过引入栅门机制扩展了单元 RNN。该模型能够在多项长期依赖基准任务上优于 LSTMs、GRUs 和单元 RNNs，并在多个自然顺序任务中提供有竞争力的结果，包括 bAbI 问题回答、TIMIT 音频预测、Penn TreeBank 和长期依赖的合成任务，如算法、括号、去噪和复制任务。

    Jun, 2017

  • 通过修订门循环单元来提升语音识别

    本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

    Sep, 2017

  • EleAtt-RNN：为循环神经网络中的神经元添加注意力机制

    本研究提出了一种名为 Element-wise-Attention Gate 的方法，该方法可以被简单地添加到任何递归神经网络中，以实现对输入向量元素的不同重要性级别进行注意力调控，从而显着提高其表现。

    Sep, 2019

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016

  • 为循环神经网络中的神经元增加关注度

    本文提出在 RNN block 中添加 Element-wiseAttention Gate 来实现注意力功能，通过元素级而不是输入级的自适应调节，从而提高 RNN 的效能，在人体动作识别任务中进行了实验并验证了该方法的有效性。

    Jul, 2018

  • 门控循环神经网络在序列建模中的实证研究

    本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

    Dec, 2014

  • 基于分层上下文关注机制的 GRU 网络用于序列推荐

    本文提出了一种基于分层上下文注意力的 GRU 网络，用于应对循环神经网络中序列的单调时间依赖案例中用户短期兴趣方面的问题，实验表明该网络在两个真实数据集上表现出强大的个性化推荐能力和显著提高。

    Nov, 2017

  • 适用于递归神经网络的最小门控单元

    该研究提出了一种适用于循环神经网络的门单元，名为 Minimal Gated Unit（MGU），其结构简单，可与 GRU 相媲美，但参数更少且训练更快，适用于各种序列数据应用。

    Mar, 2016