network pruning techniques | BriefGPT

关键词network pruning techniques

搜索结果 - 4

使用几何中值准则对轻量级人脸检测器进行滤波修剪
本文通过在两种已经小巧而紧凑的人脸检测器上实现了滤波剪枝，名为 EXTD（极小型人脸检测器）和 EResFD（高效 ResNet 人脸检测器）。利用几何中位数（FPGM）的滤波剪枝主要算法，结合软滤波剪枝（SFP）的迭代过程。此外，我们还应
PDF7 months ago
异常值加权逐层稀疏化（OWL）：向高稀疏化去除 LLMs 的遗漏秘密配方
大语言模型（LLMs）的巨大模型规模在实际部署中引发挑战，因此针对此问题，我们对传统网络修剪技术应用于 LLMs，大量参数可以被剪枝，而不会损害性能。基于从预训练 LLMs 模型中获得的经验，我们的实验结果表明，非均匀层间稀疏性相比于均匀层
PDF9 months ago
重构网络剪枝 -- 在预训练和微调范式下
本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感
PDF3 years ago
通过神经元选择对递归神经网络进行结构化剪枝
通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。
PDF5 years ago