本篇研究提出了一种新型的三值神经网络训练方法，使用删节高斯近似法将重量三值化的阈值合并到封闭形式的表示中，同时优化重量和量化器，在 Imagenet 分类任务中实现了与完全精度相比仅有的 3.9/2.52/2.16% 的精度下降。

Oct, 2018

本文介绍了一种基于训练的三元量化方法，该方法可帮助在移动设备上部署具有限功率预算的神经网络模型，该方法在降低权重精度的同时保持高准确性，并通过实验表明该模型在 CIFAR-10 和 ImageNet 上的性能优于传统方法。

Dec, 2016

介绍残差网络的概念，通过添加更多的低精度边到敏感分支来补偿精度损失，并提出一种扰动理论来确定这些敏感边，从而可以实现高精度、低模型大小和低电力消耗的计算。

Jul, 2017

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

本研究提出了一种基于聚类的量化方法，将预先训练好的全精度权重转换为三元权重，并将激活约束为 8 位，从而实现小于 8 位完整整数推理管道。此方法使用较小的 N 个过滤器的簇，并使用共同缩放因子来最小化量化损失，同时最大化三元操作的数量。在 ResNet-101 上使用 N=4 的簇大小，可以在替换了 85％的所有乘法运算为 8 位累加之后，实现 71.8％的 TOP-1 准确度。 使用 4 位权重的相同方法实现 76.3％，相对于全精度结果的误差不到 2％。同时，本研究还探讨了集群大小对性能和准确性的影响。 N=64 的较大集群大小可以使用三元操作替换 98％的乘法，但会显著降低准确性，需要在更低的精度下对参数进行微调和网络重新训练。为了解决这个问题，我们还使用全精度权重预初始化网络，通过 8 位激活和三元权重训练了低精度 ResNet-50，在额外的 4 个 epoch 内实现了 68.9％的 TOP-1 准确度。最终量化模型可以在完整的 8 位计算管道上运行，相对于基线全精度模型具有潜在的 16 倍性能提升。

Jan, 2017

本文提出了一种精细的量化方法 (Fine-grained Quantization, FGQ)，该方法可对预训练的全精度模型进行三值化，同时将激活限制为 8 位和 4 位。通过该方法，我们证明了无需额外训练，就可以在最先进的拓扑结构上实现最小分类精度损失。该方法可用于 Resnet-101 和 Resnet-50 等模型，可以消除 75% 的乘法运算，从而实现完整的 8/4 位推理管道，并在 ImageNet 数据集上实现最佳报告精度，性能提升潜力高达 9 倍。最终的量化模型可以在全精度模型的基础上提高 15 倍的性能。

May, 2017

该研究报告介绍了一种能够在资源受限制的嵌入式硬件上快速高效地部署训练完毕的深度神经网络的方法，即使用单个比特来表示和存储每个学习到的权重参数，通过在训练中为每个层应用等于层特定标准差的恒定未学习值的缩放因子来简化现有方法并提高误差率，并通过不学习批归一化缩放和偏移参数来改善网络性能。

Feb, 2018

本文考虑使用权重量化压缩深度网络，将最近提出的有损权重二值化方案推广到三值化，并在前馈和循环神经网络上进行实验，发现该方案优于现有的权重量化算法，精度与全精度网络相当或更高。

Feb, 2018

该研究探讨了在资源有限设备上部署深度神经网络的量化方法，研究了极低比特网络，提出了解决量化值中的三个问题的新方法，并在 ImageNet 上进行了实验。结果表明，与现有的方法相比，所提出的再参数化三元网络（RTN）具有更好的精度和比特宽度效率，在 FPGA 上的计算模式也具有更高的功率和面积节省。

Dec, 2019

本文研究发现深度神经网络在训练时即使将权重量化并投影为二进制表示也能取得优秀的性能，而在测试阶段，这些网络对于除量化以外的扭曲，包括加性和乘性噪声以及一类非线性投影具有显著的鲁棒性。此外，我们还发现基本水平的鲁棒性可以通过调整或删除一个通用的训练启发式（即在反向传播过程中投影量化权重）来实现，包括使用其他类型的权重投影和简单地剪裁权重。最后，我们提出了一种随机投影规则，实现了无数据增强条件下 CIFAR-10 中 7.64% 的测试错误率的最新记录。

Jun, 2016