BriefGPT.xyz
大模型
Ask
alpha
关键词
compresso
搜索结果 - 1
Compresso: 结构化剪枝与合作促使学习紧凑的大型语言模型
通过合作的剪枝算法和大型语言模型自身,在数据收集和训练成本昂贵的挑战下,Compresso 通过在训练过程中学习最优的剪枝决策以及引入协同提示进一步增强了剪枝算法,成功将 LLaMA-7B 剪枝至 5.4B,并在阅读理解上超过 LLaMA-
→
PDF
9 months ago
Prev
Next