Mar, 2024
EasyQuant: 一种高效无数据量化算法用于 LLMs
EasyQuant: An Efficient Data-free Quantization Algorithm for LLMs
Hanlin Tang, Yifu Sun, Decheng Wu, Kai Liu, Jianchen Zhu...
TL;DR本研究提出了 EasyQuant,这是一种训练免费且独立于数据的权重量化算法,旨在实现对大型语言模型(LLMs)的几乎无损量化性能,且算法运行速度比依赖于数据的方法快 10 倍以上。