low-bit weight quantization | BriefGPT

关键词low-bit weight quantization

搜索结果 - 1

AFPQ: 非对称浮点量化用于 LLMs
通过使用不对称 FP 量化方法，我们提出了一种改进的量化方法，可以在大语言模型中提高准确性，且无需额外存储空间。
PDF8 months ago