Feb, 2024

任意精度 LLM:低成本部署多个不同大小的 LLM

TL;DR该研究论文介绍了 Any-Precision LLM 的概念,并提出了一种轻量级的 Any-Precision 量化方法,以及对应的软件引擎,有效地解决了多个不同大小 LLM 的部署成本问题。