卷积神经网络中异构位宽二值化

NIPSMay, 2018

Heterogeneous Bitwidth Binarization in Convolutional Neural Networks

Josh Fromm, Shwetak Patel, Matthai Philipose

TL;DR本文讨论了低比特神经网络在同质二值化和异质二值化两种情况下的表现，提出使用参数粒度量化的异质二值化方法，其在减小模型位宽并保证性能稳定方面具有优势。

Abstract

Recent work has shown that fast, compact low-bitwidth neural networks can be surprisingly accurate. These networks use homogeneous binarization: all parameters in each layer or (more commonly) the whole model have the same low bitwidth (e.g., 2 bits). However, modern hardware allows ef

low-bit neural networks homogeneous binarization heterogeneous binarization parameter granularity efficiency

发现论文，激发创造

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

混合精度 DNNs：只需良好参数化

本文提出一种不同的量化方法，使用不同的参数化方法来训练深度神经网络，从而达到更高效深度神经网络推理的效果。通过多组实验验证，使用该方法训练得到的量化参数可以达到最佳效果。

May, 2019

平衡量化：一种有效、高效的量化神经网络方法

本文提出了一种新的量化方法，可以确保量化值分布的平衡性，通过对参数进行分位数递归划分并应用均匀量化，可以提高 QNN 的预测准确性，同时对训练速度几乎没有影响，并可适用于卷积神经网络和循环神经网络。

Jun, 2017

一个比特宽度统治全球

本论文通过对模型宽度乘数的使用，研究了深度卷积神经网络中权重量化的最佳位宽选择，发现使用单一位宽比混合精度量化对模型压缩更优。

Aug, 2020

低比特宽度权重和激活的卷积神经网络有效训练

本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

Aug, 2019

用于快速部署的卷积神经网络后训练 4 位量化

本研究提出了第一种实用的 4 位后训练量化方法，不涉及训练经过量化模型（微调），也不需要完整数据集的可用性。我们针对激活和权重的量化提出了三种互补方法，以在张量层面上最小化量化误差，并取得了几个百分点少于各种卷积模型现有技术水平基准值的准确性。

Oct, 2018

卷积神经网络滤波器级别异构压缩学习

该研究使用神经架构搜索技术将优选算术位宽分配和网络剪枝问题制定为通过搜索满足计算复杂性预算并最大化准确性的配置的神经架构搜索问题，旨在减少计算时间开支。

Apr, 2019

自动流程实现压缩卷积神经网络，以实现 FPGA 上的高效边缘计算

本文研究了一种从训练好的 TensorFlow 模型到基于 FPGA 的二值化卷积神经网络系统的自动流程，并在 Cyclone-V FPGA 设备上实现了二值化的 YOLOV2，通过在目标检测上的实验，证明了与 CPU 和移动 CPU 平台相比，在 FPGA 上进行二值化幻化的模型大小和推理速度都有显著的性能提升。

Dec, 2017

构建有效的低比特宽度卷积神经网络

本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地减小了深度学习训练的计算量和存储需求。

Nov, 2017

深度卷积网络的量化优化：一篇白皮书

本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持 8 位运算的情况下，将权重量化为 8 位可以将模型大小降低 4 倍，并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试，并观察到相比于 CPU 上的浮点运算，量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。

Jun, 2018