本文提出了一种量化方法，通过减少比特宽度来提高模型大小，从而使网络在保持精度的同时，仍能获得减少精度和整体模型大小减少的好处。

Oct, 2017

本文介绍了一种新型的神经序列建模方法 - 准循环神经网络（QRNNs），通过卷积层与最小化的循环池化函数的交替使用，QRNNs 可以在高度并行的情况下完成对序列数据的建模，并且在语言建模、情感分类和字符级神经机器翻译等任务中显示出比基于 LSTM 的架构更优异的性能。

Nov, 2016

研究提出了一种用四元数代替实数的递归神经网络来处理多维特征，从而更好地模拟长期依赖，并在语音识别应用中表现出更好的性能和更紧凑的表示方式。

Jun, 2018

本研究着眼于 RNN 模型的计算资源需求问题，提出了一种通过降低权重与偏置数值精度的方法来优化模型计算的解决方案，并在两种主要的 RNN 模型及三个数据集上进行了实验，结果表明使用随机和确定性三值化、pow2 - 三值化和指数量化方法均能生成低精度的 RNN 模型，并在某些数据集上甚至能获得更高的准确率，从而为开发特殊低功耗硬件的 RNN 训练提供更加高效的实现途径。

Nov, 2016

本文通过量化神经网络的权重和激活值为多个 {-1，+1} 的二进制编码来解决在性能有限的移动设备和高并发服务器上部署神经网络时的问题，并在长短时记忆和门控循环单元等领域进行了测试，结果显示仅失去一定的准确性，我们可以通过两位量化实现约 16 倍的内存节省和约 6 倍的实际推理加速，在三位量化下，我们几乎不会失去准确性，甚至可以超越原始模型，同时节省约 10.5 倍的内存和约 3 倍的实际推理加速。

Feb, 2018

本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

通过构建一个由参数化的量子神经元组成的量子循环神经网络（QRNN），将量子计算与循环神经网络相结合，并通过序列学习和整数数字分类等任务进行了演示性能证明。

Jun, 2020

本文提出了一种有效的量化方法，可用于将循环神经网络（包括 LSTM，GRU 和 ConvLSTM）部署在 FPGA 和移动平台上，同时在 IMDB 情感分析和移动 MNIST 视频帧预测等数据集上取得了有希望的成果。

Feb, 2018

本文提出了一种量化 LSTM 和 GRU 细胞中的门和互联结构的方法以及平衡量化权重的方法，通过在 PTB 和 IMDB 数据集上的实验证明了该方法的有效性，该方法在减小存储大小和内存使用方面优于之前的量化 RNN，并且可以加速训练和推理。

Nov, 2016

本文提出了一种名为 POPQORN 的算法，用于测量递归神经网络的稳健性，包括传统的递归神经网络、LSTM 和 GRU。通过该算法，可以得到关于每个步骤的稳健性量化指标，并就此获得新的见解。

May, 2019