低分辨率突触权重神经网络的舍入方法
该研究探讨有限精度数据表示和计算对神经网络训练的影响,并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。
Feb, 2015
介绍了一种使用定点算数对已训练的神经网络进行精度调整的新技术,其可仅使用整数操作实施,并用线性规划生成一个新的定点格式,以确保其与浮点格式的行为相同,可用于安全关键系统中。
Feb, 2022
本文提出使用浮点数表示权重和使用定点数表示激活,证明了相较于定点数表示,使用浮点数表示权重更加高效,同时能够优化硬件乘加器设计,实验表明这个方法最多可减少 36% 的权重存储和 50% 的硬件乘加器功耗。
Mar, 2017
本研究旨在提高二进制神经网络的训练效率,通过拓扑变化和策略训练提出两种解决方案,使网络能够达到接近最先进性能和高效训练。训练时间和内存需求是实现高效训练的两个因素。
Oct, 2023
本研究探讨神经网络中不同位精度 (bit-precision) 对网络精度、硬件指标 (存储、功耗、设计面积)、能量消耗等的影响,并提出训练时间方法来弥补位精度降低精度所导致的误差,并表明在降低精度的情况下,可以在设计指标中获得显著的益处,同时提出可以通过增加网络大小来提高精度。
Dec, 2016
通过精度分配方法,实现神经网络中所有参数的最小化,从而实现固定点训练。针对 CIFAR-10,CIFAR-100 和 SVHN 数据集,对四个网络进行实验验证,证实此方法具有接近最优的精度分配,可以与其他固定点神经网络设计相比较。(The precision assignment methodology reduces the complexity of fixed-point training for neural networks, and its optimality is validated empirically for various datasets and network designs)
Dec, 2018
本文介绍了使用较低的精度来训练深度神经网络的成功实践,通过引入基于块的操作和浮点随机取整等技术,成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础,并具有提高 2-4 倍吞吐量的潜力。
Dec, 2018