BriefGPT.xyz
大模型
Ask
alpha
关键词
over-parametrized network
搜索结果 - 1
ACL
预训练语言模型中的超级票:从模型压缩到提高泛化能力
该研究探讨了 Lottery Ticket Hypothesis 理论,在预训练语言模型这样极度超参数化的模型中,如何通过压缩 ratio 选定一组 “winning tickets” 子模型来匹配全模型的性能。另外观察到当 compres
→
PDF
3 years ago
Prev
Next