基于相关性和数量级的资源感知 DNN 剪枝

May, 2024

基于相关性和数量级的资源感知 DNN 剪枝

Combining Relevance and Magnitude for Resource-Aware DNN Pruning

Carla Fabiana Chiasserini, Francesco Malandrino, Nuria Molner, Zhiqiang Zhao

TL;DR提出了一种名为 FlexRel 的新型修剪方法，通过结合训练时间和推理时间信息，即参数大小和相关性，来提高准确性，并节省计算资源和带宽。性能评估表明，FlexRel 能够实现更高的修剪因子，为典型准确性目标节省超过 35％的带宽。

Abstract

pruning neural networks, i.e., removing some of their parameters whilst retaining their accuracy, is one of the main ways to reduce the latency of a machine learning pipeline, especially in resource- and/or

pruning neural networks parameter magnitude relevance bandwidth

发现论文，激发创造

头部姿态估计多输出回归模型增强边缘推断的参数选择比较研究

本研究采用基于幅值的修剪技术来对深度学习模型进行优化，以适应边缘推理的需求，我们成功地将头部姿态估计的多输出回归模型的模型大小优化了 75% 以上，并取得了比原模型更高的精度。

Dec, 2022

具有拓扑一致剪枝的小型图卷积网络

本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。

Jun, 2023

PERP: 重新思考 LLM 时代的修剪再训练范式

通过修剪来高效地压缩神经网络，减少存储和计算需求，同时保持预测性能，我们提出了一种参数高效的修剪后重训练方法，使得修剪和重训练大规模语言模型的任务成为可能。

Dec, 2023

基于正则化的深度神经网络结构中不相关参数修剪

本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

Apr, 2022

初始化时的鲁棒剪枝

深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

Feb, 2020

Lookahead：基于远见的修剪的替代方法

本研究提出了一种名为预见性剪枝的简单剪枝方法，通过将单层优化扩展到多层优化，预见性剪枝在各种网络中表现良好，特别是在高稀疏度情况下，优于基于幅度的剪枝。

Feb, 2020

基于幅度剪枝的层自适应稀疏化

这篇论文针对神经网络修剪方法提出一种基于重要性分数的全局修剪方法（LAMP），不需要人工调参或加重的计算，使用在图像分类任务上表现出优于现有算法的效果。

Oct, 2020

复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

Aug, 2022

修剪能否提高大型语言模型的效率？

通过对 Transformer 架构进行参数剪枝的优化策略，通过广泛实验和超参数选择，研究发现可以在不牺牲性能的情况下显著减少模型大小，并改善通用性能，从而在深度学习应用方面实现更可扩展和环境友好的方式。

Oct, 2023

剪枝对 CNN 解释性的影响：少即是多

本文通过剪枝卷积神经网络来减少其复杂性，进而增加其可解释性。通过实验探究了不同的剪枝比率对于卷积神经网络的可解释性的影响，发现较低的压缩率对可解释性有积极影响，而较高的压缩率则会导致负面影响，并挖掘了提高模型性能和可解释性的 “最佳点”。

Feb, 2023