mixed precision quantization | BriefGPT

关键词mixed precision quantization

搜索结果 - 7

高效神经压缩与推理时间解码
通过混合精度量化、零点量化和熵编码将 Resnets 的压缩边界推进到 1 位以外，在 ImageNet 基准测试中准确度下降不超过 1%。
PDF22 days ago
后训练量化中的注意力轮
本研究提出了一种名为 Attention Round 的新型量化方法，利用密度函数实现了参数映射，使得小样本量即可完成量化加速，并通过损失编码长度对模型的不同层进行位宽分配来解决混合精度量化问题，该方法在不同模型上的实验结果表明具有良好的量
PDF2 years ago
ICMLSDQ：带混合精度的随机可微量化
本文提出了一种新的随机可微量化（SDQ）方法，利用不同层和模块的优化比特宽度来自动学习混合精度量化策略，并利用熵感知的分 bin 正则化和知识蒸馏对网络进行训练，经过在不同硬件和数据集上广泛的评估，SDQ 在较低的比特宽度下优于所有最先进的
PDF2 years ago
CVPR一种适用于超级稀疏飞行时间深度图的低内存占用的量化神经网络深度补全方法
提出了一种适用于室内 3D 感知的稀疏主动照明时间飞行（ToF）深度图修复方法。通过使用一个经过量化的卷积编码器 - 解码器网络，以及对输入进行预处理和使用几何保持损失函数进行精心调整的训练，该方法可以在实际光照和传感器分辨率约束下，生成具
PDF2 years ago
OMPQ: 正交混合精度量化
提出使用网络正交性作为网络量化的代理指标，使用线性规划优化代理指标，降低搜索时间和数据依赖性，从而实现高效且准确的网络量化，分别在 ResNet-18 和 MobileNetV2 上实现了 72.08% 和 71.27% 的 Top-1 准
PDF3 years ago
HMQ: 用于卷积神经网络的硬件友好型混合精度量化块
本文提出了 HMQ，一个基于 Gumbel-Softmax 估计器的混合精度量化块，搜索有限的量化方案空间，以覆盖在边缘设备硬件实现中需要的均匀和具有 2 的幂级别阈值的量化器需求，并在 CIFAR10 和 ImageNet 训练的分类模型
PDF4 years ago
贝叶斯位：统一量化和剪枝
Bayesian Bits 是一种通过梯度优化实现联合混合精度量化和剪枝的实用方法，其采用一种新的量化操作分解，并引入可学习的随机门，通过对门进行近似推理，可以获得精度与效率之间更好的平衡的剪枝混合精度网络。
PDF4 years ago