BriefGPT.xyz
大模型
Ask
alpha
关键词
gptvq method
搜索结果 - 1
GPTVQ: LLM 量化的维度福祉
在这项研究中,我们展示了通过增加量化维度可以显著改善神经网络量化的大小和准确性之间的权衡。我们提出了 GPTVQ 方法,一种新的快速方法,用于对大型语言模型(LLMs)进行训练后的向量量化(VQ),并在多列的量化和未量化权重更新之间交错使用
→
PDF
4 months ago
Prev
Next