关键词data-free quantization
搜索结果 - 10
- AAAI基于鲁棒性引导的无数据量化图像合成
我们提出了一种简单但有效的方法,即稳健导向的图像合成(RIS),通过在输入和模型权重上引入扰动,并在扰动前后在特征和预测水平上定义不一致性指标,设计一个稳健优化目标来增强合成图像的语义,进而提高图像多样性,从而在无数据压缩任务中取得了最先进 - 通过混合精度补偿实现无数据量化,无需微调
本文提出了一种数据自由的混合精度补偿方法,通过数学公式对预训练的全精度模型和其逐层混合精度量化模型之间的重构损失进行最小化,无需任何数据和微调过程即可实现超低精度量化模型的更高精度。
- CVPR自适应无数据量化
本文提出了一种基于生成对抗网络的自适应无数据量化方法,通过优化生成样本与量化网络间的适应性,以达到优化网络压缩和适应性的效果,实验证明该方法优于现有技术。
- AAAI重新思考无数据量化作为零和博弈
本文通过博弈论的角度,提出了一种适应性样本生成方法,通过重新定义动态最大化与最小化过程,实现了对数据量化过程的优化。
- ACQ: 通过关注力校正来提高生成式无数据量化
该论文提出了 ACQ 方法,通过注意力中心位置条件发生器和对手损失等技术,解决了数据合成过程中 attention 分布不均和同一类别合成样本之间注意力过于相似的问题,以提升量化算法的性能。在对 Resnet18 和 Resnet50 进行 - 具有准确激活裁剪和自适应批量归一化的无数据量化
本文提出了一种简单而有效的数据自由量化方法,通过准确的激活剪辑和自适应批量归一化来提高模型的准确性和处理量化误差。广泛的实验证明,该方法可以取得惊人的性能,达到了 ImageNet 数据集上 ResNet18 的 64.33% 的 top- - Qimera:支持合成边界样本的无数据量化
研究了深度神经网络的模型压缩方法,特别是适用于轻量级移动或边缘设备的推理,提出使用超定位嵌入来生成支持边界的样本,并通过附加解耦映射层和提取全精度模型的信息,改进这种方法,实现了最先进的在无数据情况下量化的性能。
- 多样化样本生成以获得精准的无数据量化
数据无关量化方法的统计数据不均衡问题限制了其在神经网络压缩方面的应用;本文提出了 Diverse Sample Generation(DSG)方法以在分布和样本层面缓解这一问题,其可以应用于当前一些最先进的量化方法中,如 AdaRound。 - 生成式零样本网络量化
本研究提出了一种基于 Batch Normalization 统计量的生成建模方法,能够为高层图像识别任务生成逼真的图像样本集合,来支持无需依赖真实数据的量化模型,实验表明该方法在 benchmark 数据集上有很好的性能表现。
- ECCV生成式低比特宽度无数据量化
本文提出了一种简单而有效的方法,叫做生成式低比特数据无关量化 (GDFQ),通过使用预训练模型中的分类边界知识和分布信息,利用知识匹配生成器生成有意义的虚假数据,从而消除数据依赖负担,来量化模型。在三个数据集上的广泛实验证明了本方法的有效性