本文基于神经网络，使用 FPGA 开发了一个实时语音识别系统，其中使用两个重复神经网络进行声学建模和语言建模，并采用统计单词级别语言模型提高识别准确性。同时，使用 N-best 搜索算法，实现了简单的 AM、character-level LM、word-level LM 三者的结合，从而显著提高其响应速度。

Sep, 2016

本文介绍了改进的前馈顺序记忆网络 DFSMN 结构，通过在相邻层的记忆块之间引入跳过连接以启用跨不同层的信息流，并消除了建立非常深层结构时的梯度消失问题。在多个大型语音识别任务中，DFSMN 的性能优于 BLSTM，尤其是使用 CD-Phone 作为建模单元和较低帧率（LFR）进行训练时，DFSMN 的改进更为显著。此外，DFSMN 的记忆块的前瞻滤波器可以轻松地设计，以控制实时应用的延迟。

Mar, 2018

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

本文提出了一种切片循环神经网络（SRNNs），将序列分割为多个子序列实现并行化，SRNNs 相对标准 RNNs 在训练时间快 136 倍且在六个大规模情感分析数据集上表现更好。

Jul, 2018

本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

Mar, 2013

通过添加残差连接并低秩、稀疏和量化，FastRNN 和 FastGRNN 算法在精准度与资源消耗之间取得了平衡，使 FastGRNN 在 KB 级别且极度资源受限的 IoT 微控制器上实现了准确识别语音唤醒词 ″Hey Cortana” 的目标。

Jan, 2019

本文提出了一种基于块循环矩阵框架的高效 RNN（E-RNN）框架，用于 FPGA 实现自动语音识别（ASR），旨在提高性能 / 能量效率，保证精度。采用了交替方向乘法器（ADMM）技术和两个设计探索来提高块循环训练的准确性和引导块大小选择，并将 E-RNN 分解为两个阶段：确定 RNN 模型以降低计算和存储，并进行硬件实现。在实际的 FPGA 部署中，实验结果表明，相对于 ESE 的最大能量效率提高了 37.4 倍，相对于 C-LSTM 提高了 2 倍以上，但保持了相同的准确性水平。

Dec, 2018

本文提出一个名为简单循环 NMT 的新的循环神经网络机器翻译体系结构，该体系结构基于一类快速且弱循环单元，使用层归一化和多个注意力机制。在 WMT14 英德和 WMT16 英罗曼尼亚基准上的实验表明，我们的模型作为 LSTMs 的有效替代品，可以在显著降低计算成本的情况下实现更好的结果。

May, 2018

本研究提出一种新型的循环神经网络结构，即门控反馈循环神经网络，通过全局门控单元来控制和允许来自上层循环层到下层层的信号，改进了现有的多层循环层叠加方法，我们评估了不同类型的循环神经元，如 tanh，长短时记忆和门循环单元，在字符级语言建模和 Python 程序评估等任务上，实验证明 GF-RNN 优于传统方法构建深度堆叠循环神经网络，因为 GF-RNN 可以通过学习对这些交互进行门控从而自适应地将不同的层分配给不同的时间尺度和层间交互。

Feb, 2015

通过在快速和慢速神经网络中加入循环来探索新的变化形式，提出一种新颖的循环快速权重编程模型（RFWPs），并在两个合成算法任务，语言模型和 Atari 2600 2D 游戏环境中评估了模型的效果。

Jun, 2021