BriefGPT.xyz
大模型
Ask
alpha
关键词
attention-based probing
搜索结果 - 1
VTrans:基于变分信息瓶颈剪枝的 Transformer 压缩加速
我们提出了 VTrans,一种迭代剪枝框架,通过变分信息瓶颈(VIB)原则引导,压缩所有结构组件,包括嵌入层、注意力头和层,以满足模型大小或计算约束,相比之前的方法实现了高达 70% 的压缩,并提出了更快的变体。在 BERT、ROBERTa
→
PDF
a month ago
Prev
Next