May, 2023
PDP: 无需参数的可导修剪就是你所需的
PDP: Parameter-free Differentiable Pruning is All You Need
Minsik Cho, Saurabh Adya, Devang Naik
TL;DR提出一种高效、有效的训练时裁剪方案 ——Parameter-free Differentiable Pruning(PDP),可适用于各种视觉和自然语言任务,支持无结构裁剪约束,基于训练时动态权重函数生成软裁剪掩码并得到最新的模型大小、精确度和培训成本。