通过精度分配方法，实现神经网络中所有参数的最小化，从而实现固定点训练。针对 CIFAR-10，CIFAR-100 和 SVHN 数据集，对四个网络进行实验验证，证实此方法具有接近最优的精度分配，可以与其他固定点神经网络设计相比较。（The precision assignment methodology reduces the complexity of fixed-point training for neural networks, and its optimality is validated empirically for various datasets and network designs）

Dec, 2018

通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

May, 2017

该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

Feb, 2015

本文提出了一种对定点优化算法的改进，它可以动态估计量化步长，同时实现了逐步量化方案，经实验发现：该算法适用于前馈神经网络、卷积神经网络和循环神经网络。

Feb, 2017

本篇研究提出了一种名为 Flexpoint 的数据格式，可以在不需要调整模型超参的情况下，用于支持深度神经网络在低位宽训练中的完整替代，该数据格式动态调整共享指数，以最小化过载并最大化可用的动态范围，实验证明，16 位 Flexpoint 在三个网络模型的训练上与 32 位浮点数非常接近，有望成为未来神经网络硬件训练和预测的一种有效数值格式。

Nov, 2017

本研究通过基于再训练的量化方法分析了循环神经网络的定点性能，研究了 RNN 每一层的量化敏感度，并提出了能够在不损失性能的情况下最小化权重容量的整体定点优化结果。实验使用了语言模型和音素识别示例。

Dec, 2015

该论文提出了一种用于实际任务的神经网络结构，用于图像识别，它通过减少参数的数量，使用固定点算术，将权重存储在块、移位寄存器和可调卷积块中，并提供适应现有数据集以解决不同任务的方法，可以在廉价 FPGA 上实现实时视频处理。

Aug, 2018

本文提出了将高精度神经网络算法映射为低精度（甚至二进制乃至于生物模拟）算法的两种方法，并证明这些方法相比于标准的四舍五入方法在性能上有显著提高，同时探究了三种常见神经网络算法在不同权重分辨率和固定内存大小下的性能表现。

Apr, 2015

本文提出使用浮点数表示权重和使用定点数表示激活，证明了相较于定点数表示，使用浮点数表示权重更加高效，同时能够优化硬件乘加器设计，实验表明这个方法最多可减少 36% 的权重存储和 50% 的硬件乘加器功耗。

Mar, 2017

近年来，机器学习（ML）和神经网络（NNs）在各个领域广泛使用和受到关注，特别是在交通运输领域实现自主性，包括城市空中出租车（UAM）的出现。然而，对认证的担忧已经出现，强调了需要包含整个 ML 和 NN 管道的标准化过程的发展。本文深入研究了推理阶段和所需的硬件，突出了与 IEEE 754 浮点算术相关的挑战，并提出了替代的数字表示方法。通过评估不同的求和和点积算法，我们旨在减轻与非关联性有关的问题。此外，我们对定点算术的探索揭示了它相对于浮点方法的优势，显示出显著的硬件效率。采用经验方法，我们确定了实现可接受的精度所需的最佳位宽，考虑到位宽优化的固有复杂性。

Jan, 2024