NIPSNov, 2016

有限数值精度的循环神经网络

PDF
TL;DR本研究着眼于 RNN 模型的计算资源需求问题，提出了一种通过降低权重与偏置数值精度的方法来优化模型计算的解决方案，并在两种主要的 RNN 模型及三个数据集上进行了实验，结果表明使用随机和确定性三值化、pow2 - 三值化和指数量化方法均能生成低精度的 RNN 模型，并在某些数据集上甚至能获得更高的准确率，从而为开发特殊低功耗硬件的 RNN 训练提供更加高效的实现途径。
recurrent neural networksoptimizationreduced precisionstochasticdeterministic
发现论文，激发创造
  • 低精度 RNN：量化 RNN 而不失准确性

    本文提出了一种量化方法，通过减少比特宽度来提高模型大小，从而使网络在保持精度的同时，仍能获得减少精度和整体模型大小减少的好处。

    Oct, 2017

  • 循环神经网络的定点性能分析

    本研究通过基于再训练的量化方法分析了循环神经网络的定点性能，研究了 RNN 每一层的量化敏感度，并提出了能够在不损失性能的情况下最小化权重容量的整体定点优化结果。实验使用了语言模型和音素识别示例。

    Dec, 2015

  • 有限数值精度下的深度学习

    该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

    Feb, 2015

  • 循环神经网络的有效量化方法

    本文提出了一种有效的量化方法，可用于将循环神经网络（包括 LSTM，GRU 和 ConvLSTM）部署在 FPGA 和移动平台上，同时在 IMDB 情感分析和移动 MNIST 视频帧预测等数据集上取得了有希望的成果。

    Feb, 2018

  • 循环神经网络的有效量化方法

    本文提出了一种量化 LSTM 和 GRU 细胞中的门和互联结构的方法以及平衡量化权重的方法，通过在 PTB 和 IMDB 数据集上的实验证明了该方法的有效性，该方法在减小存储大小和内存使用方面优于之前的量化 RNN，并且可以加速训练和推理。

    Nov, 2016

  • 循环神经网络的交替多比特量化

    本文通过量化神经网络的权重和激活值为多个 {-1，+1} 的二进制编码来解决在性能有限的移动设备和高并发服务器上部署神经网络时的问题，并在长短时记忆和门控循环单元等领域进行了测试，结果显示仅失去一定的准确性，我们可以通过两位量化实现约 16 倍的内存节省和约 6 倍的实际推理加速，在三位量化下，我们几乎不会失去准确性，甚至可以超越原始模型，同时节省约 10.5 倍的内存和约 3 倍的实际推理加速。

    Feb, 2018

  • 有限精度 RNN 在语言识别中的实际计算能力

    本文研究了有限精度的 RNNs，证明 LSTM 和 Elman-RNN with ReLU activation 比 RNN with a squashing activation 和 GRU 更加强大，可以实现计数行为，并且实验证明了 LSTM 学习了有效地使用计数机制。

    May, 2018

  • 学习循环二 / 三元权重

    该论文提出了一种在训练阶段就能够学习二进制和三进制权重的方法，可以用于硬件实现循环神经网络，以达到减少硅面积和功耗的目的。使用该方法可以在运行时使用二进制 / 三进制权重，从而在 ASIC 平台上实现长短时记忆神经网络比全精度实现要高出 10 倍的推理加速度和 12 倍的内存节省。

    Sep, 2018

  • 关于循环神经网络的计算能力

    证明有限精度下具有 ReLU 激活函数的 RNN 和 GRU 等神经网络具有等价于确定性有限自动机 (DFA) 的计算能力，如果允许任意精度，则具有至少与下推自动机 (PDA) 相同的计算能力，如果同时允许无限精度，无限边权和非线性输出激活函数，则 GRU 具有至少与下推自动机相同的计算能力。

    Jun, 2019

  • 探索循环神经网络中的稀疏性

    该论文提出了一种通过初始训练过程中修剪权重来减少模型参数的技术，以便在减小了模型大小的同时，保留了准确度并显著提高了推理时间，在基准测试中使用该技术可以将模型大小降低 90%，速度提高 2 倍至 7 倍

    Apr, 2017