我们提出了一种简单的方法来训练和微调高端深度神经网络，首次允许使用更廉价的 12 位累加器，而不会出现显著的准确度降低。最后，我们证明，通过进一步降低累加器的精度，并使用细粒度梯度逼近可以提高深度神经网络的准确性。

Jan, 2024

这篇研究论文介绍了一种量化感知训练算法，该算法通过权重归一化约束参数，使用累加器位宽界限来避免数值溢出，在保持模型精度的同时，可以减少累加器的精度，并提高量化神经网络中的稀疏性和可压缩性，从而提高 FPGA 设计效率。

Jan, 2023

本研究探讨神经网络中不同位精度 (bit-precision) 对网络精度、硬件指标 (存储、功耗、设计面积)、能量消耗等的影响，并提出训练时间方法来弥补位精度降低精度所导致的误差，并表明在降低精度的情况下，可以在设计指标中获得显著的益处，同时提出可以通过增加网络大小来提高精度。

Dec, 2016

通过限制权重和激活函数的精度，量化技术通常降低神经网络推理成本。最近的研究表明，降低累加器的精度可以进一步提高硬件效率，但存在数值溢出的风险，这会导致算术错误并降低模型的准确性。为了避免数值溢出并保持准确性，最新的工作提出了一种称为累加器感知量化（A2Q）的量化感知训练方法，在训练期间约束模型权重以在推理过程中安全地使用目标累加器位宽。尽管这显示出了潜力，但我们证明 A2Q 依赖于过于严格的约束和亚优化的权重初始化策略，每个都引入了多余的量化误差。为了解决这些缺点，我们引入了两个改进：（1）一种改进的上界，缓解了累加器约束而不损害溢出避免；（2）一种从预训练的浮点检查点初始化量化权重的新策略。我们将这些贡献与权重归一化结合起来，引入 A2Q+。我们通过实验证实，A2Q + 显著改善了累加器位宽和模型准确性之间的权衡，并表征了累加器约束引起的新的权衡。

Jan, 2024

本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

May, 2019

本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

Aug, 2019

该论文提出一种基于 posit 数值格式的 DNN 体系结构及可调精度 FPGA 软核，通过实验结果表明，该体系结构在 8 位或以下的 posit 数值格式下，性能和精度均优于传统的固定位数和浮点数位数格式，提示该方法能够在减小计算资源的同时提高 DNN 的性能。

Dec, 2018

介绍了一种使用半精度浮点数训练深度神经网络的技术，通过减少内存消耗和利用未来处理器的半精度硬件单元，大幅提高模型训练的计算速度。

Oct, 2017

该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

Feb, 2015

我们提出了一种适用于训练量化神经网络（QNNs）以避免在推断过程中使用低精度累加器时的溢出问题的新颖的权重量化方法 ——accumulator-aware quantization（A2Q）。A2Q 引入了一种受权重归一化启发的独特公式，根据我们导出的累加器比特宽度限制来约束模型权重的 L1 范数。因此，在训练低精度累加器的 QNNs 时，A2Q 还本质上促进了非结构化权重稀疏性以保证溢出避免。我们将该方法应用于基于深度学习的计算机视觉任务，以表明 A2Q 可以在保持与浮点基准相竞争的模型准确性的同时，训练适用于低精度累加器的 QNNs。在我们的评估中，我们考虑了 A2Q 对通用平台和可编程硬件的影响。然而，我们主要针对在 FPGAs 上部署模型，因为它们可以被编程以充分利用定制累加器比特宽度。我们的实验表明，累加器比特宽度显著影响基于 FPGA 的加速器的资源效率。在我们的基准测试中，A2Q 相比于 32 位累加器对应物平均提供高达 2.3 倍的资源利用率降低，同时保持 99.2% 的浮点模型准确性。

Aug, 2023