mixed-precision | BriefGPT - AI 论文速递

关键词mixed-precision

搜索结果 - 9

OHQ: 在芯片上的硬件感知量化
本文提出了一种在芯片上进行硬件感知的混合精度量化（OHQ）框架，通过构建在芯片上的量化感知管道（OQA）和基于掩码的量化估计（MQE）技术，实现了从硬件感知的混合精度量化。通过合成网络和硬件的见解，通过线性规划获得了优化的位宽配置。OHQ
PDF10 months ago
FLIQS: 单次混合精度浮点数与整数量化搜索
量化已成为现代深度神经网络的主流压缩技术，本文提出了一种一次性的混合精度量化搜索方法，通过整数和低精度浮点模型在不需要重新训练的情况下提高了 ResNet-18 和 ResNet-50 在 ImageNet 上的准确性，并探索了混合精度浮点
PDFa year ago
面向 FPGAs 和 ASICs 的 Hessian 感知量化神经网络的端对端协同设计
利用 Hessian-aware quantization (HAWQ) 来量化神经网络（NNs），Quantized Open Neural Network Exchange（QONNX）中间表示和 hls4ml 到 FPGA 和 ASI
PDFa year ago
混合精度神经网络综述
本文介绍了混合精度框架优化技巧的现有文献，并对常用的量化技巧进行了总结，其中部分框架运用的优化技巧为强化学习和确定性舍入，文章讨论了每种框架的优点和缺陷，并且为未来的混合精度框架提供了指导。
PDF2 years ago
ICCV通过约束优化实现神经网络混合精度量化
采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在 ImageNet 数据集和各种网络体系结构上得出了比现有方法更优的结果。
PDF3 years ago
BatchQuant: 鲁棒量化器的量子化全架构搜索
我们提出了 BatchQuant，这是一种稳健的量化器公式，可在数量少得多的 GPU 小时内训练出一种超过 10^{76} 个量化子网的紧凑超网，并首次无需重新训练即可无缝扩展一次权重共享 NAS 超网以支持任意超低位宽混合精度量化策略的子
PDF3 years ago
HAWQV3：二元神经网络量化
HAWQV3 提出了一种新型的混合精度整数量化框架，通过纯整数运算、硬件感知混合精度量化和直接硬件部署方法，实现了模型压缩和量化加速，其中 INT8 量化的准确率比之前的整数方法提高了 2.68％，同时混合精度的 INT4/8 量化可以将
PDF4 years ago
HAWQ-V2: 基于 Hessian 感知的神经网络权重量化
研究混合精度量化的方法，使用 Hessian 分析来解决由于过度量化而导致的模型泛化下降问题，并提出了 HAWQV2 来解决先前 HAWQV1 中出现的三个主要限制，包括使用平均值作为敏感度度量的改进版本，使用 Pareto 前沿方法进行自
PDF5 years ago
ICCVHAWQ：混合精度的神经网络海森矩阵感知量化
本研究介绍了一种基于 Hessian 矩阵的自适应量化方法（HAWQ），可实现神经网络中各层的不同量化精度，并通过对 ResNet20、Inception-V3、ResNet50 和 SqueezeNext 模型的评测结果表明，与先前的方法
PDF5 years ago