Dec, 2015

循环神经网络的定点性能分析

PDF
TL;DR本研究通过基于再训练的量化方法分析了循环神经网络的定点性能，研究了 RNN 每一层的量化敏感度，并提出了能够在不损失性能的情况下最小化权重容量的整体定点优化结果。实验使用了语言模型和音素识别示例。
发现论文，激发创造
  • 使用自适应步长重新训练的深度神经网络的固定点优化

    本文提出了一种对定点优化算法的改进，它可以动态估计量化步长，同时实现了逐步量化方案，经实验发现：该算法适用于前馈神经网络、卷积神经网络和循环神经网络。

    Feb, 2017

  • 深度神经网络在量化下的鲁棒性

    本研究分析了前馈深度神经网络 (FFDNN) 和卷积神经网络 (CNN) 的重训练对量化网络的影响，通过控制网络复杂度，发现高度复杂的 DNN 能够吸收严格的重量化影响并通过重训练提高性能，在硬件资源受限时提示了网络大小和精度之间的折衷。

    Nov, 2015

  • 低精度 RNN：量化 RNN 而不失准确性

    本文提出了一种量化方法，通过减少比特宽度来提高模型大小，从而使网络在保持精度的同时，仍能获得减少精度和整体模型大小减少的好处。

    Oct, 2017

  • 有限数值精度的循环神经网络

    本研究着眼于 RNN 模型的计算资源需求问题，提出了一种通过降低权重与偏置数值精度的方法来优化模型计算的解决方案，并在两种主要的 RNN 模型及三个数据集上进行了实验，结果表明使用随机和确定性三值化、pow2 - 三值化和指数量化方法均能生成低精度的 RNN 模型，并在某些数据集上甚至能获得更高的准确率，从而为开发特殊低功耗硬件的 RNN 训练提供更加高效的实现途径。

    Nov, 2016

  • 循环神经网络的有效量化方法

    本文提出了一种量化 LSTM 和 GRU 细胞中的门和互联结构的方法以及平衡量化权重的方法，通过在 PTB 和 IMDB 数据集上的实验证明了该方法的有效性，该方法在减小存储大小和内存使用方面优于之前的量化 RNN，并且可以加速训练和推理。

    Nov, 2016

  • 循环神经网络的有效量化方法

    本文提出了一种有效的量化方法，可用于将循环神经网络（包括 LSTM，GRU 和 ConvLSTM）部署在 FPGA 和移动平台上，同时在 IMDB 情感分析和移动 MNIST 视频帧预测等数据集上取得了有希望的成果。

    Feb, 2018

  • 循环神经网络的交替多比特量化

    本文通过量化神经网络的权重和激活值为多个 {-1，+1} 的二进制编码来解决在性能有限的移动设备和高并发服务器上部署神经网络时的问题，并在长短时记忆和门控循环单元等领域进行了测试，结果显示仅失去一定的准确性，我们可以通过两位量化实现约 16 倍的内存节省和约 6 倍的实际推理加速，在三位量化下，我们几乎不会失去准确性，甚至可以超越原始模型，同时节省约 10.5 倍的内存和约 3 倍的实际推理加速。

    Feb, 2018

  • 反向传播算法的逐张量定点量化

    通过精度分配方法，实现神经网络中所有参数的最小化，从而实现固定点训练。针对 CIFAR-10，CIFAR-100 和 SVHN 数据集，对四个网络进行实验验证，证实此方法具有接近最优的精度分配，可以与其他固定点神经网络设计相比较。（The precision assignment methodology reduces the complexity of fixed-point training for neural networks, and its optimality is validated empirically for various datasets and network designs）

    Dec, 2018

  • 神经网络固定点代码合成

    介绍了一种使用定点算数对已训练的神经网络进行精度调整的新技术，其可仅使用整数操作实施，并用线性规划生成一个新的定点格式，以确保其与浮点格式的行为相同，可用于安全关键系统中。

    Feb, 2022

  • FxP-QNet: 一种用于混合低精度 DNN 设计的训练后量化器，采用动态定点表示

    本文提出一种新的深度神经网络固定点量化框架 (FxP-QNet)，该框架可以在保证网络精度的前提下，根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试 (ImageNet) 中，模型的内存需求得到了 7.16 倍 - 10.36 倍的压缩，同时准确率只有不到 2% 的损失。

    Mar, 2022