关于无数据结构化剪枝的因果推断

AAAIDec, 2021

关于无数据结构化剪枝的因果推断

On Causal Inference for Data-free Structured Pruning

Martin Ferianc, Anush Sankaran, Olivier Mastropietro, Ehsan Saboori, Quentin Cappart

TL;DR本文从因果推理的角度应对神经网络尺寸扩大导致的资源消耗过高的问题，提出一种评分机制来进行神经网络的结构化剪枝和压缩，实现了在各种数据集和模型尺寸下的竞争性表现。

Abstract

neural networks (NNs) are making a large impact both on research and industry. Nevertheless, as NNs' accuracy increases, it is followed by an expansion in their size, required number of compute operations and energy consumption. Increase in resource consumption results in NNs' reduced

neural networks compression causal inference structured pruning mutual information

发现论文，激发创造

基于贝叶斯推断修剪神经网络

我们提出了一种利用贝叶斯推断的剪枝神经网络的新方法，该方法可以无缝地融入训练过程，并通过计算贝叶斯因子来指导迭代剪枝，从而实现所需的稀疏度，并保持竞争性的准确性。

Aug, 2023

模型剪枝的信息论理论解释

本文探讨了神经网络压缩问题，利用率失真理论解释了压缩比和神经网络性能之间的张力，提出了一种压缩和失真之间的折衷方法，并通过该理论分析表明模型剪枝是好的压缩算法的一部分，最后，提出了一种基于信息理论的剪枝策略并在 CIFAR-10 和 ImageNet 数据集上显示出其优越性。

Feb, 2021

防止成员推断攻击：只需修剪

通过剪枝实现减少模型存储和计算操作，防止 Deep Learning 或 Deep Neural Networks (DNNs) 的隐私泄露，提高 DNNs 的抗干扰性和准确性

Aug, 2020

FPGA 资源感知的实时神经网络结构剪枝

通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

Aug, 2023

模拟指导的迭代剪枝网络压缩方法

本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题，并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。

Feb, 2019

通过结构化剪枝在初始化时快速部署边缘计算中的 DNN

利用结构化剪枝技术，Reconvene 系统可快速生成适用于边缘部署的经剪枝模型，大小减小了 16.21 倍，速度加快 2 倍，同时保持与未经剪枝的模型相同的准确性。

Apr, 2024

复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

Aug, 2022

通过神经元选择对递归神经网络进行结构化剪枝

通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

Jun, 2019

硬件感知的 DNN 压缩：通过多样化剪枝和混合精度量化

通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

Dec, 2023

结构化剪枝中连续松弛的泛化

使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。

Aug, 2023