本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

Dec, 2018

该论文提出一种基于 posit 数值格式的 DNN 体系结构及可调精度 FPGA 软核，通过实验结果表明，该体系结构在 8 位或以下的 posit 数值格式下，性能和精度均优于传统的固定位数和浮点数位数格式，提示该方法能够在减小计算资源的同时提高 DNN 的性能。

Dec, 2018

本文提出使用浮点数表示权重和使用定点数表示激活，证明了相较于定点数表示，使用浮点数表示权重更加高效，同时能够优化硬件乘加器设计，实验表明这个方法最多可减少 36% 的权重存储和 50% 的硬件乘加器功耗。

Mar, 2017

本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

May, 2019

提出了一种新方法训练任意精度深度神经网络（DNNs），可以在推断时灵活地设置数字精度，从而支持动态速度和准确度的折衷，并且该方法不会降低性能，该方法适用于多个视觉任务和模型结构

Nov, 2019

通过在三个基准数据集上使用三种不同的格式（浮点数、固定点和动态固定点）进行训练，评估乘法精度的影响，研究发现，即使在训练神经网络时使用 10 位乘法，非常低的精度也足够运行和训练最新的神经网络。

Dec, 2014

本研究探讨神经网络中不同位精度 (bit-precision) 对网络精度、硬件指标 (存储、功耗、设计面积)、能量消耗等的影响，并提出训练时间方法来弥补位精度降低精度所导致的误差，并表明在降低精度的情况下，可以在设计指标中获得显著的益处，同时提出可以通过增加网络大小来提高精度。

Dec, 2016

该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

Feb, 2015

通过优化浮点数表示方式，我们在 28 纳米芯片上实现了基于神经网络的推断和训练的更高能效性能，这种优化不需要重新训练神经网络和更改参数。

Nov, 2018

本文提出了一种名为 WAGEUBN 的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型 W，A，G，E，U 和 BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在 ImageNet 数据集上获得了可比较的精度，展示了在大规模 DNNs 中 8 位 INT 级别的完整量化的功能性。

Sep, 2019