BriefGPT.xyz
Ask
alpha
关键词
quantization noise
搜索结果 - 4
QGen：关于量化感知训练的泛化能力
使用更少的位数表示模型权重和激活，量化降低了内存使用、计算需求和延迟。我们研究了量化神经网络的泛化性质，首先通过理论模型表明了量化作为一种正则化的功能，其次通过与损失函数曲线陡峭度与泛化的相关性的研究，提出了一个近似限制量化模型泛化性的方法
→
PDF
3 months ago
QuATON：光神经元的量化感知训练
光学神经架构（ONA）使用具有优化的物理参数的编码元素进行智能测量，提出了一种物理信息量化感知训练框架，该方法在训练过程中考虑了物理约束，导致了稳健的设计。在不同量化水平和数据集上进行了大量实验，表明我们的方法导致了对量化噪声稳健的 ONA
→
PDF
9 months ago
使用 8 位浮点数进行混合精度训练
本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。
PDF
5 years ago
高准确性低精度训练
本文介绍了一种名为 HALP 的低精度随机梯度下降变体，通过使用 SVRG 和位中心技术来降低梯度方差和量化误差，将低精度计算应用于深度学习任务，并且实验验证表明 HALP 能够匹配全精度 SVRG 的收敛轨迹，性能优于通常的低精度 SGD
→
PDF
6 years ago
Prev
Next