BriefGPT.xyz
大模型
Ask
alpha
关键词
block quantisations
搜索结果 - 1
EMNLP
再探基于块的量化:子 8 位低精度设备基于块的推理中的重要因素
通过使用块量化技术,本研究实现了基于大型语言模型(LLMs)的几乎无损 6 位量化,与浮点数基准相比算术密度增加了 19 倍,内存密度增加了 5 倍,超过了之前 8 位量化的先前技术。同时,介绍了子 8 位 LLM 量化的关键见解,包括激活
→
PDF
9 months ago
Prev
Next