ICLRApr, 2024
当小的更小时会发生什么?探究对小数据预训练语言模型进行压缩的影响
What Happens When Small Is Made Smaller? Exploring the Impact of Compression on Small Data Pretrained Language Models
Busayo Awobade, Mardiyyah Oduwole, Steven Kolawole
TL;DR压缩技术对小规模数据语言模型的效率和效果具有显著改善作用,证实了对大规模参数化模型的压缩效果的普遍观点同样适用于小规模数据模型。