Feb, 2024

学会高效:在大型语言模型中构建结构化稀疏性

TL;DR使用 Learn-To-be-Efficient 算法能够实现大型语言模型的效率提升,通过激活较少神经元来获得更好的稀疏性和性能平衡,取得了较好的结果。