unstructured pruning | BriefGPT

关键词unstructured pruning

搜索结果 - 6

大型语言模型中 GLU 变种的依赖感知半结构稀疏性
针对大型语言模型的硬件挑战，我们提出了一种新颖的依赖感知半结构稀疏性（DaSS）方法，它将结构依赖性引入基于权重大小的非结构化剪枝，并引入了一个 MLP 特定的剪枝度量来评估每个权重的重要性，同时考虑其大小和对应的 MLP 中间激活规范。我
PDF2 months ago
SD-Conv：动态卷积的参数效率
本文提出了一种新框架 Sparse Dynamic Convolution（SD-Conv），它将动态卷积和不规则剪枝结合起来，通过使用可学习阈值导出二值化掩码以减少参数和计算成本，在 Imagenet-1K 数据集上获得更高的性能，并在多
PDF2 years ago
CVPR利用自适应滤波器表示来改善稀疏 CNN 训练的空间修剪
本文提出了一种新的卷积神经网络剪枝方法 interspace pruning (IP)，通过自适应滤波器基础 (FB) 的线性组合，将过滤器表示为动态间隙，从而在高稀疏度的情况下有效地减少 CNNs 的内存占用和提高了训练和泛化能力，优于传
PDF2 years ago
加速稀疏神经网络的训练：一种可以证明有效的 N:M 可转换掩码发现方法
本研究提出了一种新的称为掩码多样性的度量方法来降低 DNN 的内存占用，并介绍了一种可同时用于前向和后向传递的新型可转置细粒度稀疏掩码，通过使用最小成本流问题来寻找最优的可转置掩码，并且还提出了一种将无结构稀疏模型转换为 N:M 细粒度块稀
PDF3 years ago
关于跨尺度修剪的可预测性
通过功能近似，我们证明了迭代幅值修剪网络的错误可以预测，并且遵循对网络结构、任务、修剪等级等参数的不变性；我们表明这个近似适用于大规模数据和体系结构，从而为未来构建大规模网络提供了有用的理论支持。
PDF4 years ago
在 GPU 上实现高效的 DNN 推断的平衡稀疏性
本文提出一种新的 fine-grained sparsity 方法，即平衡稀疏化方法，使得深度学习模型在商用硬件上得以高效地获得准确性和加速，同时利用 GPU 的高并行特性，取得了高达 3.1 倍的实际加速效果。
PDF6 years ago