Dec, 2023

加速卷积神经网络剪枝的空间灵气熵

PDF
TL;DR我们提出了一种改进 CNN 剪枝的方法，通过使用空间灵气熵来改善互信息的计算，以提高剪枝的鲁棒性和效率。在 CIFAR-10 基准数据集上的实验结果展示了我们方法在剪枝性能和计算效率方面的优越性。
发现论文，激发创造
  • 一种基于熵的 CNN 压缩剪枝方法

    本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

    Jun, 2017

  • 面向卷积神经网络的广义熵稀疏化

    卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

    Apr, 2024

  • 关于无数据结构化剪枝的因果推断

    本文从因果推理的角度应对神经网络尺寸扩大导致的资源消耗过高的问题，提出一种评分机制来进行神经网络的结构化剪枝和压缩，实现了在各种数据集和模型尺寸下的竞争性表现。

    Dec, 2021

  • 利用自适应滤波器表示来改善稀疏 CNN 训练的空间修剪

    本文提出了一种新的卷积神经网络剪枝方法 interspace pruning (IP)，通过自适应滤波器基础 (FB) 的线性组合，将过滤器表示为动态间隙，从而在高稀疏度的情况下有效地减少 CNNs 的内存占用和提高了训练和泛化能力，优于传统的 unstructured pruning (SP) 方法。

    Mar, 2022

  • 通过熵最小化的强化学习修剪卷积滤波器

    利用结构剪枝和信息论奖励机制，我们能够在保持准确性的同时降低神经网络架构的浮点运算数，并在减少 5-10 倍的 FLOPS 的同时最小化性能损失。

    Dec, 2023

  • 基于摊余推断显著性图的解释驱动网络修剪

    本文提出一种基于模型解释的方式对 CNNs 进行精简，在引入一个实时平滑的选择模型以及径向基函数（RBF）等经典几何先验和解释模型的参数化的方式下，通过最大化解释模型的相似性来引导网络裁剪，实现了对性能、精简度和解释一些重要指标的平衡。

    Sep, 2022

  • 通过修剪激活梯度加速 CNN 训练

    通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

    Aug, 2019

  • 通过测量滤波器之间的相互作用来进行结构化网络剪枝

    提出了一种新的结构化网络修剪方法 SNPFI，该方法通过衡量滤波器的重要性和利用强度来减少冗余滤波器，并将滤波器间的相互作用纳入重要性度量中，实现减少计算成本并恢复性能的效果，并在各种图像分类数据集上成功验证了该方法的有效性。

    Jul, 2023

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 卷积神经网络的加速器感知剪枝

    在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于 AlexNet，VGG16，ResNet，MobileNet 等多种网络模型。

    Apr, 2018