Dec, 2023

压缩的成本:研究压缩对语言模型参数化知识的影响

TL;DR压缩大型语言模型(LLM)包含数十亿参数,可以提供更快的推理速度,更小的内存占用,并支持本地部署。我们通过对多个模型系列(ENCODER、ENCODER-DECODER和DECODER)使用LAMA和LM-HARNESS基准进行全面分析,以系统量化常用压缩技术对模型性能的影响,特别关注涉及参数化知识的权衡,旨在为从业人员提供实用的见解,帮助他们在压缩决策时做出明智的选择。