本文介绍了一种近似计算方案，结合迭代低秩压缩和剪枝以及一种新型 FPGA 基于的 LSTM 结构，以部署计算时间受限的应用程序为挑战，将其优化和配置成高性能的 LSTM 执行体系框架。在真实生活中的图像字幕应用的定量评估表明，该方法需要的时间比基准方法少达 6.5 倍，同时在相同的计算时间限制下，实现了平均 25 倍的应用级别精度。

Jan, 2018

本论文研究了如何在单个 FPGA 平台上利用硬件加速器和 PYNQ 来实现 DRNN 语言模型加速，实验结果显示，在 PYNQ 板上 Overlay 加速器的 AXI Stream 接口性能为 20 GOPS，相较 Ref.30 和 Ref.31 的工作分别提高了 70.5 倍和 2.75 倍。

Oct, 2017

本文提出了一种基于块循环矩阵框架的高效 RNN（E-RNN）框架，用于 FPGA 实现自动语音识别（ASR），旨在提高性能 / 能量效率，保证精度。采用了交替方向乘法器（ADMM）技术和两个设计探索来提高块循环训练的准确性和引导块大小选择，并将 E-RNN 分解为两个阶段：确定 RNN 模型以降低计算和存储，并进行硬件实现。在实际的 FPGA 部署中，实验结果表明，相对于 ESE 的最大能量效率提高了 37.4 倍，相对于 C-LSTM 提高了 2 倍以上，但保持了相同的准确性水平。

Dec, 2018

本研究开发了一种基于 FPGA 的定点深度神经网络系统，实现了手写数字识别和音素识别任务，相较于基于 GPU 的系统有更高的效率和更低的功耗。

Feb, 2016

本文基于神经网络，使用 FPGA 开发了一个实时语音识别系统，其中使用两个重复神经网络进行声学建模和语言建模，并采用统计单词级别语言模型提高识别准确性。同时，使用 N-best 搜索算法，实现了简单的 AM、character-level LM、word-level LM 三者的结合，从而显著提高其响应速度。

Sep, 2016

本研究基于多种高级神经网络结构，包括卷积神经网络、循环神经网络、LSTM 和深度置信网络，利用可编程门阵列（FPGA）进行 ECG 信号分析，探索开发基于 PYNQ Z1 板的自定义张量计算单元（TCU）加速器，为各种应用程序优化神经网络性能提供指导。

Jul, 2023

本研究详细探讨了使用卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）和深度置信网络（DBN）通过可编程门阵列（FPGA）改进对心电图（ECG）信号的分析的复杂神经网络框架，使用 MIT-BIH 心律失常数据库作为模型训练和评估的基础，并加入高斯噪声来提高算法的鲁棒性。研究中我们采用多层结构进行特定处理和分类功能的设计，使用了 EarlyStopping 回调和 Dropout 层等策略来防止过拟合现象。此外，还详细介绍了为 PYNQ Z1 平台创建定制化的张量计算单元（TCU）加速器的过程。该研究提供了一个系统的方法论，涵盖了在 Docker 中配置 Tensil 工具链、选择架构、PS-PL 配置以及模型的编译和部署。通过评估延迟和吞吐量等性能指标，展示了 FPGA 在先进的生物医学计算中的效果。最终，本研究成果在各个领域优化 FPGA 上的神经网络操作提供了全面的指南。

Nov, 2023

本文系统地探索了双向长短期记忆神经网络（BiLSTM）的精度设计空间，包括硬件感知的训练流、FPGA 的资源成本、功耗和吞吐量可扩展性等，提供了第一个用于 LSTM 图层参数化硬件体系结构的开源 HLS 库扩展，并基于该库设计了一个针对光学字符识别的 BiLSTM 神经网络 FPGA 加速器。

Jul, 2018

通过模型修剪和 GPU 优化，我们为稀疏 RNN 设计了一种高效的实现，包括 Lamport 时间戳、宽存储器负载和银行感知权重布局等优化措施，使得在隐藏层大小为 2304，批处理大小为 4，密度为 30% 时，我们的技术可实现超过 6 倍的加速效果，进一步，我们的技术使得大于 5 倍的模型大小可以适应于 GPU 以达到 2 倍的加速效果，最后我们在附录中进行了机器翻译和语音识别任务的案例研究，将循环层加速了最多 3 倍。

Apr, 2018

本论文介绍了一种名为平行 LSTM 的 RNN 模型，可以并行处理多个同步输入序列以预测共同输出。在自动电视节目分类任务上的实验表明，该方法优于基线 n-gram 模型和最先进的 LSTM 方法。

Feb, 2017