利用截断高斯近似同时优化三值神经网络的权重和量化器
本文提出一种具有高效内存和计算的三进制权重网络（TWNs）方法，通过对浮点或双精度精度权重和三进制权重之间的欧几里德距离进行训练，实现了最小化计算开销。TWNs的表达能力优于二进制精度的相应网络，并且在MNIST、CIFAR-10和ImageNet数据集上实现了比二进制网络更好的分类性能，同时在PASCAL VOC数据集上进行的物体检测任务中，相较于二进制网络，TWNs的mAP表现也有了超过10％的提升。
May, 2016
本文提出了基于三值神经网络和师生模型的新型深度学习方法，并在FPGA和ASIC硬件上实现；相比现有技术，该方案在提高准确率的前提下，节约了高达3.1倍的能源。
Sep, 2016
本文介绍了一种基于训练的三元量化方法，该方法可帮助在移动设备上部署具有限功率预算的神经网络模型，该方法在降低权重精度的同时保持高准确性，并通过实验表明该模型在CIFAR-10和ImageNet上的性能优于传统方法。
Dec, 2016
本文提出了一种精细的量化方法(Fine-grained Quantization, FGQ)，该方法可对预训练的全精度模型进行三值化，同时将激活限制为8位和4位。通过该方法，我们证明了无需额外训练，就可以在最先进的拓扑结构上实现最小分类精度损失。该方法可用于Resnet-101和Resnet-50等模型，可以消除75%的乘法运算，从而实现完整的8/4位推理管道，并在ImageNet数据集上实现最佳报告精度，性能提升潜力高达9倍。最终的量化模型可以在全精度模型的基础上提高15倍的性能。
May, 2017
本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持8位运算的情况下，将权重量化为8位可以将模型大小降低4倍，并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试，并观察到相比于CPU上的浮点运算，量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。
Jun, 2018
本研究提出了统计权重缩放和残差扩展的方法，将深度卷积神经网络权重参数压缩到三元值，以大幅减少模型大小和计算成本，并在CIFAR-10和ImageNet数据集上验证此方法的有效性和优越性。
Jul, 2018
提出了一种利用熵约束技术创建稀疏三元神经网络的通用框架，以提高存储和计算效率，同时验证了该框架在CIFAR-10、CIFAR-100和ImageNet数据集上进行图像分类任务的有效性.
Apr, 2020
本文提出了一种快速高效的三值神经网络(FATNN)框架，通过精心设计实现依存的三值量化算法，针对计算复杂度和性能差异等挑战，大幅度提高了图像分类准确性，并在多个平台上进行了速度评估，成为进一步研究的强大基准。
Aug, 2020