Jun, 2024
Pruner-Zero: 大规模语言模型的从零开始的演化符号修剪度量
Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large
Language Models
TL;DR大型语言模型（LLMs）由于其庞大的规模而面临部署挑战。修剪方法通过去除权重的子集来加速，但其中许多需要重新训练，这是昂贵且计算需求高的。最近，提出了后训练修剪方法引入了新的度量标准，使得可以无需重新训练就能进行LLMs的修剪。然而，这些度量标准需要人工专家的参与和繁琐的试错。为了高效地确定优越的修剪度量标准，我们开发了一个自动框架来使用遗传编程搜索符号修剪度量标准。具体来说，我们设计了一个细致的搜索空间，涵盖现有的修剪度量标准，以发现潜在的符号修剪度量标准。我们提出了一种对立运算简化策略，以增加种群的多样性。通过这种方式，Pruner-Zero允许自动生成符号修剪度量标准。基于搜索结果，我们探索了修剪度量标准与修剪后性能之间的相关性，并总结了一些原则。在语言建模和零样本任务的LLaMA和LLaMA-2上的大量实验表明，我们的Pruner-Zero的性能优于SOTA的后训练修剪方法。代码地址：https://github.com/pprp/Pruner-Zero。