Feb, 2020

使用内部蒸馏的背包修剪

PDF
TL;DR本研究提出了一种基于背包问题和内部知识蒸馏的神经网络剪枝方法，该方法能够在优化被剪枝网络的最终准确性的同时，从过度参数化的母网络的内部层中提取知识，并使用块分组方法来处理复杂的网络结构。该方法在 ImageNet、CIFAR-10 和 CIFAR-100 数据集上都取得了 state-of-the-art 的准确率表现，并且能够产生与 EfficientNet-B0、MobileNetV3 相同 FLOPs 但更高准确率的网络结构。
neural network pruning$\ell_1$-norm sparsificationdistilling knowledgeknapsack problemblock grouping approach
发现论文，激发创造
  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 从头开始剪枝

    本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

    Sep, 2019

  • EPSD: 早期剪枝与自蒸馏用于高效模型压缩

    提出了一种名为早期修剪与自我蒸馏（EPSD）的框架，它在给定自我蒸馏任务的早期修剪中识别和保留可蒸馏的权重，通过两步骤的过程高效地将早期修剪和自我蒸馏相结合，以保持修剪网络的可训练性进行模型压缩。

    Jan, 2024

  • 数据剪枝中的知识提取

    通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。

    Mar, 2024

  • 结构化剪枝学习紧凑而精确的模型

    提出 CoFi（粗细粒度剪枝）方法，该方法结合了粗细粒度模块的剪枝决策，并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型，使模型同时拥有与蒸馏方法相当的精度和延迟优势，而无需使用无标注数据。在 GLUE 和 SQuAD 数据集上的实验表明，CoFi 方法在速度和精度方面相对于以前的剪枝和蒸馏方法具有更高的效率和效果。

    Apr, 2022

  • DHP: 通过超网实现可微元剪枝

    本文介绍了一种通过超级网络进行自动网络剪枝的可微分剪枝方法。使用该方法进行图像分类、单幅图像超分辨率和降噪等各种网络的实验结果证实了该方法的有效性。

    Mar, 2020

  • 基于可转换架构搜索的网络剪枝

    本文提出了一种新的网络剪枝方法，通过神经结构搜索直接搜索灵活的通道和层大小， 最小化剪枝网络的失误实现通道和层大小的学习，提高了传统的网络剪枝方法， 并有效地区别了不同搜索和知识转移方法的效果。

    May, 2019

  • 网络剪枝空间

    本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。

    Apr, 2023

  • 面向卷积神经网络的广义熵稀疏化

    卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

    Apr, 2024

  • 具备稀疏约束的端到端网络剪枝流程

    神经网络稀疏化通过减少模型大小、计算复杂度和内存占用的同时保持竞争性能，成为在资源受限设备上部署的有效技术。本研究开发了适应神经网络稀疏化的全程训练流程，利用非标准模型参数初始化、预修剪训练方法和后修剪训练优化等技术，实现了显著提升于当前最先进的神经网络稀疏化方法的效果。

    Dec, 2023