Jan, 2019

FastGRNN: 一种快速、准确、稳定且体积小的门控循环神经网络

PDF
TL;DR通过添加残差连接并低秩、稀疏和量化，FastRNN 和 FastGRNN 算法在精准度与资源消耗之间取得了平衡，使 FastGRNN 在 KB 级别且极度资源受限的 IoT 微控制器上实现了准确识别语音唤醒词 ″Hey Cortana” 的目标。
fastrnnfastgrnnrnnaccuracyresource-constrained
发现论文，激发创造
  • HGRN2：具有状态扩展的门控线性循环神经网络

    HGRN2 通过引入基于外积的状态扩展机制，在不引入额外参数的情况下，显著增加了循环状态大小，提高了语言建模、图像分类和长距离竞技场方面的性能。

    Apr, 2024

  • 门控循环单元（GRU）神经网络的门控变体

    本文通过减少更新和重置门中的参数，评估了三种变体的门控循环单元在递归神经网络中的性能。在 MNIST 和 IMDB 数据集上验证表明，这些门控循环单元的变体模型可以在降低计算成本的同时表现出与原始模型相当的性能。

    Jan, 2017

  • EdgeDRNN：针对边缘推理的循环神经网络加速器

    本文介绍了一种基于轻量级 GRU RNN 的低延迟 RNN 加速器，名为 EdgeDRNN，利用时间稀疏性和廉价的 DRAM，较其他商用边缘 AI 平台更快和更高效。

    Dec, 2020

  • 通过修订门循环单元来提升语音识别

    本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

    Sep, 2017

  • E-RNN：FPGAs 中高效循环神经网络的设计优化

    本文提出了一种基于块循环矩阵框架的高效 RNN（E-RNN）框架，用于 FPGA 实现自动语音识别（ASR），旨在提高性能 / 能量效率，保证精度。采用了交替方向乘法器（ADMM）技术和两个设计探索来提高块循环训练的准确性和引导块大小选择，并将 E-RNN 分解为两个阶段：确定 RNN 模型以降低计算和存储，并进行硬件实现。在实际的 FPGA 部署中，实验结果表明，相对于 ESE 的最大能量效率提高了 37.4 倍，相对于 C-LSTM 提高了 2 倍以上，但保持了相同的准确性水平。

    Dec, 2018

  • 循环神经网络的有效量化方法

    本文提出了一种有效的量化方法，可用于将循环神经网络（包括 LSTM，GRU 和 ConvLSTM）部署在 FPGA 和移动平台上，同时在 IMDB 情感分析和移动 MNIST 视频帧预测等数据集上取得了有希望的成果。

    Feb, 2018

  • 门控反馈循环神经网络

    本研究提出一种新型的循环神经网络结构，即门控反馈循环神经网络，通过全局门控单元来控制和允许来自上层循环层到下层层的信号，改进了现有的多层循环层叠加方法，我们评估了不同类型的循环神经元，如 tanh，长短时记忆和门循环单元，在字符级语言建模和 Python 程序评估等任务上，实验证明 GF-RNN 优于传统方法构建深度堆叠循环神经网络，因为 GF-RNN 可以通过学习对这些交互进行门控从而自适应地将不同的层分配给不同的时间尺度和层间交互。

    Feb, 2015

  • 快慢递归神经网络

    提出了一种新的循环神经网络 Fast-Slow RNN，可以在不同的时间尺度上处理序列数据，并学习复杂的传递函数，实现了字符级语言建模数据集上的最佳效果。

    May, 2017

  • 关于循环神经网络的计算能力

    证明有限精度下具有 ReLU 激活函数的 RNN 和 GRU 等神经网络具有等价于确定性有限自动机 (DFA) 的计算能力，如果允许任意精度，则具有至少与下推自动机 (PDA) 相同的计算能力，如果同时允许无限精度，无限边权和非线性输出激活函数，则 GRU 具有至少与下推自动机相同的计算能力。

    Jun, 2019

  • 适用于递归神经网络的最小门控单元

    该研究提出了一种适用于循环神经网络的门单元，名为 Minimal Gated Unit（MGU），其结构简单，可与 GRU 相媲美，但参数更少且训练更快，适用于各种序列数据应用。

    Mar, 2016