structured pruning methods | BriefGPT

关键词structured pruning methods

搜索结果 - 5

衰减修剪方法：具有自纠正过程的平滑修剪
当前的结构化剪枝方法常常由于网络的突变和剪枝结构的信息丢失导致准确率显著下降。为了解决这些问题，我们引入了 Decay Pruning Method (DPM)，一种具有自校正机制的新型平滑剪枝方法。DPM 包括两个关键组成部分：(i) 平
PDFa month ago
通过线性层组合的低秩引导训练实现结构保留的网络压缩
本研究论文介绍了一种名为低秩引导训练（LoRITa）的压缩技术，通过组合线性层和使用奇异值截断来促进低秩性，并且在推理时无需改变结构或进行额外的优化，通过实验证明了其有效性，并与其他主流结构剪枝方法相比在 FLOPs 和参数减少方面取得了竞
PDF2 months ago
AutoDFP：通过通道相似重建自动无数据修剪
我们提出了一种自动剪枝和重构的无数据方法（AutoDFP），该方法基于强化学习，通过评估每层通道的相似性来指导网络的剪枝和重构过程，并在多个数据集上实现了令人印象深刻的压缩结果。
PDF4 months ago
自监督预训练模型结构化剪枝的语音识别与理解
该研究提出三种任务特定的结构化剪枝方法，以减少自我监督语音表示学习和前端网络的计算成本，同时保持模型准确性并提高计算效率。在实验中，该方法在减少 40% 到 50% 的计算成本的情况下，比原始 wav2vec2-base 模型更准确的表现出
PDFa year ago
生成式语言模型结构修剪中的关键因素是什么？
本文采用常见的结构剪枝方法，包括幅值、随机和移动剪枝，并提出了全球独特的移动剪枝技术（GUM）来减少神经元冗余，以提高自动生成的自然语言的性能。
PDFa year ago