Aug, 2023

非结构化剪枝能否减小深度神经网络的规模？

PDF
TL;DR在本研究中，我们介绍了 EGP，这是一种创新的基于熵引导的剪枝算法，旨在在保持性能的同时减小深度神经网络的规模。EGP 的关键重点是优先剪枝熵值较低的层的连接，从而最终完全移除它们。通过对 ResNet-18 和 Swin-T 等流行模型进行广泛的实验，我们的发现表明 EGP 能够有效压缩深度神经网络，并且保持具有竞争力的性能水平。我们的结果不仅揭示了非结构化剪枝的优势背后的机制，还为进一步研究熵值、剪枝技术和深度学习性能之间的复杂关系铺平了道路。EGP 算法及其洞见对于推动网络压缩和优化领域具有巨大潜力。EGP 的源代码已开源发布。
pruningdeep neural networksentropy guided pruningcompressionperformance
发现论文，激发创造
  • NEPENTHE：基于熵的剪枝作为神经网络深度减少器

    通过基于熵的剪枝方法（NEPENTHE），该研究旨在减少过参数化的深度神经网络的深度，以减轻计算负担，并在不影响性能的情况下线性化部分层。

    Apr, 2024

  • 梯度下降剪枝神经网络

    我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

    Nov, 2023

  • 结构化剪枝中连续松弛的泛化

    使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。

    Aug, 2023

  • 通过次模优化实现数据有效的结构化剪枝

    文章提出了一个基于次模优化的可靠、高效的数据压缩方法，能够在模型输出稳定性和极小模型损失之间取得平衡，适用于数据稀缺情形下的神经网络压缩优化。

    Mar, 2022

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 定时生长和修剪方法实现高效模型稀疏化

    本文提出了一种新的计划性生长和修剪（GaP）方法，通过重复生长图层子集并在一定训练后将它们修剪回稀疏状态，以减少计算和内存成本，同时保持模型质量。实验结果表明，该方法获得的稀疏模型在各种任务中的性能都优于先前最先进的算法，并且无需预训练密集模型即可获得高质量的结果。

    Jun, 2021

  • 裁剪内部层：一种用于高效 U-Net GAN 的结构化剪枝策略

    本研究通过分层修剪来压缩过度参数化的 U-Net 生成器，以用于图像到图像的翻译和语音驱动的说话人生成上，并呈现了学习结构化修剪内层的过滤器来提高效率的结果。

    Jun, 2022

  • 通过结构化连续稀疏化增加深度网络的效率

    本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

    Jul, 2020

  • 多任务深度神经网络的结构剪枝

    本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

    Apr, 2023

  • FPGA 资源感知的实时神经网络结构剪枝

    通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

    Aug, 2023