BriefGPT.xyz
大模型
Ask
alpha
关键词
low-rank quantization error reduction
搜索结果 - 1
LQER: 低秩量化误差重建法用于 LLMs
本研究提出了一种通过低秩近似和量化相结合的方法,使用激活引起的比例矩阵将量化误差的奇异值分布调整到理想值,实现了在各种大型语言模型和相关任务上几乎无失真的 W4A8 量化,而无需知识蒸馏、网格搜索或基于梯度的迭代优化,并且与现有方法相比,计
→
PDF
5 months ago
Prev
Next