BriefGPT.xyz
大模型
Ask
alpha
关键词
dense models
搜索结果 - 2
神奇的权重及其搜索方法:如何在动态稀疏训练中进行裁剪
本论文主要研究动态稀疏训练中修剪准则的影响,发现在低密度环境下,最优性能主要取决于最简单的技术:基于大小的修剪。
PDF
a year ago
ICLR
定时生长和修剪方法实现高效模型稀疏化
本文提出了一种新的计划性生长和修剪(GaP)方法,通过重复生长图层子集并在一定训练后将它们修剪回稀疏状态,以减少计算和内存成本,同时保持模型质量。实验结果表明,该方法获得的稀疏模型在各种任务中的性能都优于先前最先进的算法,并且无需预训练密集
→
PDF
3 years ago
Prev
Next