Jan, 2017
使用动态定点实现混合低精度深度学习推理
Mixed Low-precision Deep Learning Inference using Dynamic Fixed Point
TL;DR本研究提出了一种基于聚类的量化方法，将预先训练好的全精度权重转换为三元权重，并将激活约束为8位，从而实现小于8位完整整数推理管道。此方法使用较小的N个过滤器的簇，并使用共同缩放因子来最小化量化损失，同时最大化三元操作的数量。在ResNet-101上使用N=4的簇大小，可以在替换了85％的所有乘法运算为8位累加之后，实现71.8％的TOP-1准确度。 使用4位权重的相同方法实现76.3％，相对于全精度结果的误差不到2％。同时，本研究还探讨了集群大小对性能和准确性的影响。 N=64的较大集群大小可以使用三元操作替换98％的乘法，但会显著降低准确性，需要在更低的精度下对参数进行微调和网络重新训练。为了解决这个问题，我们还使用全精度权重预初始化网络，通过8位激活和三元权重训练了低精度ResNet-50，在额外的4个epoch内实现了68.9％的TOP-1准确度。最终量化模型可以在完整的8位计算管道上运行，相对于基线全精度模型具有潜在的16倍性能提升。