该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在16位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

Feb, 2015

该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用32位浮点表示的传统实现，数据足迹可以平均减少74％，最高可降至92％，而相对准确性损失不到1％。

Nov, 2015

本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

Dec, 2018

通过统计方法分析深度学习中的累加器准确性，得到了将计算硬件精度进行精确定制的方案，并证明了这种方案可以得到面积和功率最优的系统。

Jan, 2019

本文介绍了一个使用8位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

May, 2019

本文介绍了混合精度框架优化技巧的现有文献，并对常用的量化技巧进行了总结，其中部分框架运用的优化技巧为强化学习和确定性舍入，文章讨论了每种框架的优点和缺陷，并且为未来的混合精度框架提供了指导。

Aug, 2022

通过实验与理论分析，本文研究了纯16位神经网络在分类任务中的性能与效率，发现其在一定情况下可以取得比32位神经网络更好的结果。

Jan, 2023

本文描述了纯16位浮点神经网络的高效性以及其在性能上与混合精度和32位浮点模型的类似甚至更好的表现，并提供了机器学习实践者重新考虑在各种应用中使用纯16位网络的机会。

May, 2023

传统优化方法依赖于使用单精度浮点算术，在内存大小和计算性能方面具有成本。然而，混合精度优化技术利用单精度和半精度浮点算术来降低内存需求，同时保持模型准确性。我们在训练模型期间提供了一种算法，通过摆脱参数的浮点副本，实际上只保留半精度数，进一步减少内存使用。我们还通过在反向传播期间执行优化器步骤来探索去除梯度值的好处。在实践中，我们实现了高达25%的峰值内存使用降低和15%的更快训练速度，同时保持相同水平的准确性。

Sep, 2023

本研究针对现有图神经网络(GNN)系统在使用半精度浮点训练时表现不佳的问题，提出了一种新的解决方案。通过开发HalfGNN系统，采用新型向量操作和离散化的稀疏矩阵乘法(SpMM)技术，该方法显著提升了硬件利用率，减少了内存使用，并提高了训练效率，最终实现比传统方法提高2.30倍的训练速度，同时保持类似的准确性。

Nov, 2024