Nov, 2023
MetaMix: 混合精度激活量化的元状态精确搜索器
MetaMix: Meta-state Precision Searcher for Mixed-precision Activation
Quantization
TL;DR提出了一种名为MetaMix的新方法,通过位选择和权重训练阶段来解决混合精度量化中的激活不稳定性问题,其通过降低混合精度量化中的激活不稳定性,实现快速、高质量的位选择,而权重训练阶段则利用位选择阶段中训练的权重和步长进行微调,从而提供快速训练。在ImageNet数据集上对MobileNet v2、v3和ResNet-18等高效且难以量化的网络进行的实验显示,我们的方法在准确度与操作之间推动了混合精度量化的发展边界,并且在性能上超过了混合精度和单精度的SOTA方法。