Apr, 2022
量化模型行为特征和可靠部署的理解和表征
Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment
Qiang Hu, Yuejun Guo, Maxime Cordy, Xiaofei Xie, Wei Ma...
TL;DR本文详细研究量化模型的行为特征,通过考虑 4 个跨越图像到文本的数据集,8 种深度学习网络架构,以及包含合成和自然分布转移的 42 个转移集,揭示出在看不见的数据上的行为特征,同时指出量化训练可以产生更稳定的模型,$Margin$ 是 quantized 模型中不确定性度量的更好指标.