Oct, 2023
无需浮点精度训练二值神经网络
Training binary neural networks without floating point precision
Federico Fontana
TL;DR本研究旨在提高二进制神经网络的训练效率，通过拓扑变化和策略训练提出两种解决方案，使网络能够达到接近最先进性能和高效训练。训练时间和内存需求是实现高效训练的两个因素。
Abstract
The main goal of this work is to improve the efficiency of training binary
neural networks, which are low latency and low energy networks. The main
contribution of this work is the proposal of two solutions comprised of
发现论文，激发创造
使用 8 位浮点数训练深度神经网络
本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。
Dec, 2018
少乘法的神经网络
研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能
Oct, 2015
使用 8 位浮点数进行混合精度训练
本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。
May, 2019
从头开始训练竞争二进制神经网络
研究二进制神经网络的训练策略和在移动和嵌入式设备上应用的性能，通过采用一种更简单的训练策略，成功提高了二进制神经网络的性能并在标准数据集上取得了最新成果，还成功将具有密集连接的网络架构引入二进制网络领域。
Dec, 2018
纯 16 位浮点数神经网络的防御
本文描述了纯 16 位浮点神经网络的高效性以及其在性能上与混合精度和 32 位浮点模型的类似甚至更好的表现，并提供了机器学习实践者重新考虑在各种应用中使用纯 16 位网络的机会。
May, 2023
有限数值精度下的深度学习
该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。
Feb, 2015