Oct, 2023
无需训练的动态稀疏化:针对稀疏长模型的零训练微调
Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs
Yuxin Zhang, Lirui Zhao, Mingbao Lin, Yunyun Sun, Yiwu Yao...
TL;DR基于 Dynamic Sparse No Training (DSnoT) 的训练无关的微调方法,能够有效地提高稀疏语言模型的性能,并开拓了将稀疏性应用于大型语言模型的潜力。