BriefGPT.xyz
大模型
Ask
alpha
关键词
sheared-llama
搜索结果 - 1
剪枝加速的 LLaMA:通过结构化剪枝加快语言模型预训练
利用结构修剪技术从预训练的大型语言模型生成更小但功能强大的语言模型。这项工作通过展示 Sheared-LLaMA 系列,在仅使用相当于从头训练这些模型所需计算量的 3%的情况下,将 LLaMA2-7B 模型修剪为 1.3B 和 2.7B 参
→
PDF
9 months ago
Prev
Next