Jan, 2024
典型案例分析中的权重量化对模型学习的影响
Effect of Weight Quantization on Learning Models by Typical Case Analysis
Shuhei Kashiwamura, Ayaka Sakata, Masaaki Imaizumi
TL;DR本文研究了大规模数据分析模型中使用的量化方法及其超参数选择。通过采用统计物理学中的典型案例分析，特别是副本方法，我们探索了超参数对简单学习模型的量化产生的影响，并得到了三个关键发现：（i）在位数较少和量化宽度较大的情况下会出现不稳定的超参数相位，即副本对称性破缺；（ii）存在一个最佳的量化宽度能够最小化误差；以及（iii）量化有助于延迟过参数化的发生，减轻了过拟合问题，这一点可以从双下降现象看出。此外，我们还发现非均匀量化可以增强稳定性，并开发了一个近似传递信息算法来验证我们的理论结果。