本文提出了一种基于块循环矩阵的压缩方案，用于改善长短时记忆网络的 FPGA 实现效率，并将该方法应用于一个名为 C-LSTM 的综合框架，其精度损失很小。

Mar, 2018

本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。

Apr, 2016

本文利用 Xilinx 公司的可编程逻辑器件 Zynq 7020 FPGA，实现了基于 Long-Short Term Memory（LSTM）的循环神经网络（RNN）硬件加速，并测试了该实现在字符级语言模型上的表现。结果表明，相较于 Zynq 7020 FPGA 中内嵌的 ARM CPU，该实现快了超过 $21$ 倍，并具有潜在的扩展到未来移动设备的应用前景。

Nov, 2015

本文提出一种 H-LSTM 模型，利用增长和修剪（GP）的方式通过梯度增长和基于大小的修剪来迭代调整隐藏层，从而使得模型在图像字幕和语音识别等应用中的表现更快、更精确、更紧凑。

May, 2018

该研究论文介绍了一种基于权重共享概念的新型 LiteLSTM 体系结构，通过减少 LSTM 的计算组件来降低整体架构成本和维护架构性能，从而提高学习大数据的效率，尤其适用于物联网设备和医学数据的安全性，同时有助于减少 CO2 排放。该模型在计算机视觉和网络安全领域的两个不同数据集上进行了实证评估和测试。

Jan, 2022

为提高语音识别模型的准确度、节约能源和降低总拥有成本，本文提出了一种基于负载均衡感知修剪方案对 Long Short-Term Memory 模型进行压缩，以及配合压缩模型的调度方案，并设计了一种能够直接在压缩模型上运行的硬件结构 Efficient Speech Recognition Engine。实验结果表明，该方法在能效、执行速度等方面优于 CPU 和 GPU 实现方式。

Dec, 2016

本文提出了一种有效的量化方法，可用于将循环神经网络（包括 LSTM，GRU 和 ConvLSTM）部署在 FPGA 和移动平台上，同时在 IMDB 情感分析和移动 MNIST 视频帧预测等数据集上取得了有希望的成果。

Feb, 2018

为了处理物联网 (IoTs) 中的传感器数据，本研究提出了一种嵌入式深度学习的重要技术，即 LSTM 细胞的优化，旨在实现端设备上的高效能推断。通过以交通速度预测为案例研究，利用优化的 LSTM 细胞的简单 LSTM 模型在 extit {XC7S15} FPGA 芯片上实现了每秒 17534 次的推断，每次推断仅消耗 3.8 微焦耳的能量。与现有方法相比，其吞吐量至少提高了 5.4 倍，能量效率提高了 1.37 倍。

Oct, 2023

本文提出了一种基于块循环矩阵框架的高效 RNN（E-RNN）框架，用于 FPGA 实现自动语音识别（ASR），旨在提高性能 / 能量效率，保证精度。采用了交替方向乘法器（ADMM）技术和两个设计探索来提高块循环训练的准确性和引导块大小选择，并将 E-RNN 分解为两个阶段：确定 RNN 模型以降低计算和存储，并进行硬件实现。在实际的 FPGA 部署中，实验结果表明，相对于 ESE 的最大能量效率提高了 37.4 倍，相对于 C-LSTM 提高了 2 倍以上，但保持了相同的准确性水平。

Dec, 2018

本文研究了针对基于循环神经网络的语言建模问题的几种压缩技术。通过使用 Penn Treebank（PTB）数据集，我们比较了 LSTM 网络的剪枝、量化、低秩分解、张量列车分解对模型大小和适用于快速推理的适合性，并发现传统的 LSTM 网络要么拥有高空间复杂度，要么具有相当大的推理时间；这个问题对于移动应用程序尤其关键，因为不适用于与远程服务器进行不断的交互。

Aug, 2017