BriefGPT.xyz
大模型
Ask
alpha
关键词
norm tweaking
搜索结果 - 1
规范微调:大型语言模型的高性能低位量化
在本文中,我们介绍了一种称为 norm tweaking 的技术,可以作为当前 PTQ 方法的插件使用,以实现高精度并且具有成本效益的模型压缩。通过校准数据生成和通道级距离约束来更新归一化层的权重,我们的方法在权重量化和权重与激活联合量化方
→
PDF
10 months ago
Prev
Next