Feb, 2024
每个人都剪枝:只使用前向传播的 LLM 结构剪枝
Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
Lucio Dery, Steven Kolawole, Jean-Francois Kagey, Virginia Smith, Graham Neubig...
TL;DR利用仅使用前向传递的方法进行结构裁剪,我们开发了 Bonsai,一种无梯度、扰动性的裁剪方法,能够生成小型、快速、准确的模型,超越梯度裁剪方法和半结构裁剪方法的性能且节约资源。