Apr, 2018

卷积神经网络的加速器感知剪枝

HTML
PDF
TL;DR在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于AlexNet，VGG16，ResNet，MobileNet等多种网络模型。
发现论文，激发创造
  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 具有粗糙剪枝的紧凑卷积神经网络

    通过对特征图和卷积核级别进行修剪，可以减少深度卷积神经网络的计算复杂性，而且在CIFAR-10数据集上的实验证明，在保持基线网络误分类率不到1%的情况下，可以在卷积层中引入超过85%的稀疏性。

    Oct, 2016

  • 探索卷积神经网络中稀疏结构的规律性

    本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响，证明了相对于细粒度稀疏性，粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计

    May, 2017

  • 面向嵌入式GPU的性能感知卷积神经网络通道剪枝

    本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

    Feb, 2020

  • 初始化时的鲁棒剪枝

    深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

    Feb, 2020

  • 用于压缩卷积神经网络的动态结构剪枝

    本文提出了一种名为动态结构修剪的结构修剪方法，基于组梯度学习实现了细粒度修剪，并在训练深度神经网络时优化修剪粒度，实验结果表明在ImageNet数据集上，动态结构修剪对ResNet50模型进行修剪可将FLOPs降低71.85%且不影响模型准确率，并在GPU加速方面优于通道修剪。

    Mar, 2023

  • FPGA资源感知的实时神经网络结构剪枝

    通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

    Aug, 2023

  • 基于连接的CNN架构的迭代滤波剪枝

    基于模型压缩和硬件加速，本研究通过剪枝方法对高度互联的卷积层的连接汇如YOLOv7中进行处理，并通过迭代敏感度分析、剪枝和模型微调，显著减少了模型大小，同时保持了可比较的模型准确性。最终将剪枝模型部署到FPGA和NVIDIA Jetson Xavier AGX上，与未剪枝的模型相比，在卷积层中实现了2倍的加速，并在FPGA上达到了每秒14帧的实时能力。

    May, 2024

  • 硬件感知的CNN加速器剪枝方法

    本研究解决了在资源受限设备上运行CNN时，能耗与推断时间之间的矛盾。提出了一种适用于FPGA设备的通用硬件架构，利用专门设计的剪枝技术显著提高推断速度。实验表明，该硬件感知的剪枝算法相比于标准剪枝算法，推断时间提高了45%。

    Aug, 2024

  • RL-Pruner：基于强化学习的卷积神经网络结构化剪枝与加速

    本研究解决了卷积神经网络压缩与加速中的结构化剪枝问题，通过引入强化学习，自动学习最佳剪枝分布，从而在保持模型准确性的同时，实现更高效的模型压缩。实验结果表明，RL-Pruner在多种网络模型上表现优异，为神经网络的部署与应用提供了重要的价值。

    Nov, 2024