MMMar, 2021

基于量化指导的压缩 TinyML 模型训练

TL;DR本文提出了一种 Quantization Guided Training(QGT)方法,采用定制的正则化策略来鼓励权重值分布最大化精确度,减少量化误差,进而达到高效的低位精度压缩,并可用于检测压缩瓶颈,通过基于视觉数据集的现代模型和一个 81KB 的精度为 2 比特的小型模型进行有效性验证。