本研究综述了深度神经网络模型压缩方法中的一种，三值量化。研究回顾了三值量化的发展历程，并从投影函数和优化方法的角度研究了现有的三值量化方法之间的关系。

Mar, 2023

本篇研究提出了一种新型的三值神经网络训练方法，使用删节高斯近似法将重量三值化的阈值合并到封闭形式的表示中，同时优化重量和量化器，在 Imagenet 分类任务中实现了与完全精度相比仅有的 3.9/2.52/2.16% 的精度下降。

Oct, 2018

本文提出了一种精细的量化方法 (Fine-grained Quantization, FGQ)，该方法可对预训练的全精度模型进行三值化，同时将激活限制为 8 位和 4 位。通过该方法，我们证明了无需额外训练，就可以在最先进的拓扑结构上实现最小分类精度损失。该方法可用于 Resnet-101 和 Resnet-50 等模型，可以消除 75% 的乘法运算，从而实现完整的 8/4 位推理管道，并在 ImageNet 数据集上实现最佳报告精度，性能提升潜力高达 9 倍。最终的量化模型可以在全精度模型的基础上提高 15 倍的性能。

May, 2017

本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

Jun, 2023

本研究提出了一种基于聚类的量化方法，将预先训练好的全精度权重转换为三元权重，并将激活约束为 8 位，从而实现小于 8 位完整整数推理管道。此方法使用较小的 N 个过滤器的簇，并使用共同缩放因子来最小化量化损失，同时最大化三元操作的数量。在 ResNet-101 上使用 N=4 的簇大小，可以在替换了 85％的所有乘法运算为 8 位累加之后，实现 71.8％的 TOP-1 准确度。 使用 4 位权重的相同方法实现 76.3％，相对于全精度结果的误差不到 2％。同时，本研究还探讨了集群大小对性能和准确性的影响。 N=64 的较大集群大小可以使用三元操作替换 98％的乘法，但会显著降低准确性，需要在更低的精度下对参数进行微调和网络重新训练。为了解决这个问题，我们还使用全精度权重预初始化网络，通过 8 位激活和三元权重训练了低精度 ResNet-50，在额外的 4 个 epoch 内实现了 68.9％的 TOP-1 准确度。最终量化模型可以在完整的 8 位计算管道上运行，相对于基线全精度模型具有潜在的 16 倍性能提升。

Jan, 2017

该研究探讨了在资源有限设备上部署深度神经网络的量化方法，研究了极低比特网络，提出了解决量化值中的三个问题的新方法，并在 ImageNet 上进行了实验。结果表明，与现有的方法相比，所提出的再参数化三元网络（RTN）具有更好的精度和比特宽度效率，在 FPGA 上的计算模式也具有更高的功率和面积节省。

Dec, 2019

提出了一种新的价值感知量化方法，通过将大多数数据应用极低的精度并单独处理一小部分高精度数据以减少总量化误差。该方法可显著减少 ResNet-152 和 Inception-v3 的激活器内存成本，并能实现 1％以下的 top-1 精度下降。

Apr, 2018

本文提出了基于三值神经网络和师生模型的新型深度学习方法，并在 FPGA 和 ASIC 硬件上实现；相比现有技术，该方案在提高准确率的前提下，节约了高达 3.1 倍的能源。

Sep, 2016

本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

本研究提出了统计权重缩放和残差扩展的方法，将深度卷积神经网络权重参数压缩到三元值，以大幅减少模型大小和计算成本，并在 CIFAR-10 和 ImageNet 数据集上验证此方法的有效性和优越性。

Jul, 2018