quantization schemes | BriefGPT

关键词quantization schemes

搜索结果 - 6

基于遗传算法的针对门控循环单元的定制化混合精度次 8 位量化方案
提出了一种用于 Gated Recurrent Units (GRU) 的模块化整数量化方案，通过遗传算法 (Genetic Algorithms) 优化 bit 宽度，以同时优化模型大小和准确性。在四个不同的顺序任务中，其混合精度解决方案
PDF4 months ago
大型语言模型的后训练量化综合研究
通过数万次的零 - shot 实验，我们对后期训练量化 (PTQ) 的各种组成成分和效应进行了全面的研究，发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如，5 比特）比非常细粒度量化的低比特位（例如，4
PDFa year ago
HMQ: 用于卷积神经网络的硬件友好型混合精度量化块
本文提出了 HMQ，一个基于 Gumbel-Softmax 估计器的混合精度量化块，搜索有限的量化方案空间，以覆盖在边缘设备硬件实现中需要的均匀和具有 2 的幂级别阈值的量化器需求，并在 CIFAR10 和 ImageNet 训练的分类模型
PDF4 years ago
具有误差反馈的量化 Adam
本文提出一种分布式变体的自适应随机梯度方法用于训练深度神经网络，并通过梯度量化和权重量化等量化方案以及误差反馈技术来降低通信成本和量化误差，实现在随机非凸的场景下达到一阶稳定点，该方法在深度神经网络训练中取得了良好实验结果。
PDF4 years ago
针对 2 比特量化神经网络 (QNN) 填补准确率差距的研究
本研究提出了一种针对权重和激活值分别进行的深度学习量化技术，该技术结合了权重量化方案 SAWB 和激活量化技术 PACT，在多个模型和数据集上实现了媲美全精度网络的最新分类精度。
PDF6 years ago
神经网络的 8 位训练可扩展方法
本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。
PDF6 years ago