该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

Feb, 2015

本文提出了一种对定点优化算法的改进，它可以动态估计量化步长，同时实现了逐步量化方案，经实验发现：该算法适用于前馈神经网络、卷积神经网络和循环神经网络。

Feb, 2017

通过精度分配方法，实现神经网络中所有参数的最小化，从而实现固定点训练。针对 CIFAR-10，CIFAR-100 和 SVHN 数据集，对四个网络进行实验验证，证实此方法具有接近最优的精度分配，可以与其他固定点神经网络设计相比较。（The precision assignment methodology reduces the complexity of fixed-point training for neural networks, and its optimality is validated empirically for various datasets and network designs）

Dec, 2018

本研究提出了一种针对深度卷积网络的定点数实现的量化器设计，通过优化比特宽度分配，实现了在 CIFAR-10 基准测试上降低模型大小 20% 以上的优化，同时保持了原始浮点模型的准确性，该设计还能通过微调进一步提高模型的精度，从而实现在定点数性能方面的新的最高水平达到 6.78％的误差率。

Nov, 2015

该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用 32 位浮点表示的传统实现，数据足迹可以平均减少 74％，最高可降至 92％，而相对准确性损失不到 1％。

Nov, 2015

本文提出使用浮点数表示权重和使用定点数表示激活，证明了相较于定点数表示，使用浮点数表示权重更加高效，同时能够优化硬件乘加器设计，实验表明这个方法最多可减少 36% 的权重存储和 50% 的硬件乘加器功耗。

Mar, 2017

本研究解决了深度神经网络输出不稳定的问题，通过提出一种稳定训练方法，使其能够应对常见图像处理带来的输入扭曲，并在大规模近似重复检测、类图像排序和嘈杂数据集分类等方面取得了鲁棒且最先进的性能。

Apr, 2016

介绍了一种使用定点算数对已训练的神经网络进行精度调整的新技术，其可仅使用整数操作实施，并用线性规划生成一个新的定点格式，以确保其与浮点格式的行为相同，可用于安全关键系统中。

Feb, 2022

通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

May, 2017

我们介绍了一个机器学习框架，用于启动固定点优化算法；我们的架构由一个神经网络和一定数量的固定点迭代组成；我们提出了两个损失函数，其中一个用于最小化固定点残差，另一个用于最小化到参考解的距离；我们的架构具有灵活性，可以预测任意步骤下的固定点算法的启动；我们提供了对常见类别的固定点算子（收敛、线性和平均）的未见数据的 PAC-Bayes 泛化界限；将该框架应用于控制、统计和信号处理等领域的知名应用可以显著减少求解这些问题所需的迭代次数和解决时间。

Sep, 2023