BriefGPT.xyz
大模型
Ask
alpha
关键词
activation sparsity induction
搜索结果 - 1
双稀疏训练框架:通过转换的 L1 正则化诱导激活图稀疏性
本研究论文介绍了一种基于转换的 l1 正则化方法来诱导激活图的稀疏性,以改善激活稀疏诱导领域的研究。同时,本方法与传统修剪结合,构成了双稀疏训练框架。实验结果表明,该方法在大多数模型和相应数据集上可以实现超过 20% 的激活图稀疏度提升,同
→
PDF
a month ago
Prev
Next