该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用32位浮点表示的传统实现，数据足迹可以平均减少74％，最高可降至92％，而相对准确性损失不到1％。

Nov, 2015

介绍了一种使用半精度浮点数训练深度神经网络的技术，通过减少内存消耗和利用未来处理器的半精度硬件单元，大幅提高模型训练的计算速度。

Oct, 2017

该研究旨在解决低精度网络中过滤器位宽不同敏感性也不同的问题，提出了一种新型可微分搜索架构——Efficient differentiable Mixed-Precision network Search（EdMIPS），采用该方法能够高效地寻找多种流行网络最佳位分配，且搜索速度快，学习到的混合精度网络性能显著优于其均匀位宽网络。

Apr, 2020

提出一种新的基于学习的算法，用于在目标计算约束和模型大小下端到端地推导混合精度模型。该方法能够通过逐渐调整模型中每个层/核心的位宽，实现两个连续位宽的分数状态来满足资源约束，使量化的使模型经过量化感知训练，能够最终获得优化的混合精度模型，并且可以与通道剪枝自然结合使用，以更好地分配计算成本。实验结果表明，在 ImageNet 数据集上，我们的最终模型在不同的资源约束下，达到了与之前混合精度量化方法相当或更好的性能。

Jul, 2020

本文提出了 Bit-Mixer 方法，为高度精准预测训练多量化层的混合精度网络，在测试期间任何层都可以改变自己的比特宽度，并通过“转换批量归一化”和3阶段优化，展示了网络的训练过程以及具有理想的灵活性属性的混合精度网络可供设备部署，不会影响推断准确度。

Mar, 2021

采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在ImageNet数据集和各种网络体系结构上得出了比现有方法更优的结果。

Oct, 2021

本文研究了深度神经网络在FPGA上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度CNN的高效硬件加速器，能够达到高精度和高性能的权衡。

Aug, 2022

该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在MobileNetV1和MobileNetV2上进行了评估，在具有不同硬件特性的多核RISC-V微控制器平台上展示了与8位模型相比高达28.6%的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

Jul, 2023

量化是一种用于创建高效深度神经网络的技术，可以通过以低于32位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而MixQuant则是一种搜索算法，根据舍入误差为每个层权重找到最佳的自定义量化比特宽度。

Sep, 2023

通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得Pareto最优的准确性与成本（即延迟或内存）之间的深度神经网络。

Jul, 2024