Aug, 2022

复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

PDF
TL;DR本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。
artificial intelligenceinternet of things (iot)cnn pruningmodel compressionedge computing
发现论文，激发创造
  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 利用多阶段图嵌入和强化学习的拓扑感知网络剪枝

    本篇文章提出了一种基于图神经网络和强化学习的多阶段图嵌入技术，用于识别 DNN 的拓扑结构和寻找合适的压缩策略，实现模型压缩并获得更高的压缩比和竞争性的性能。

    Feb, 2021

  • FPGA 资源感知的实时神经网络结构剪枝

    通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

    Aug, 2023

  • 通过结构化剪枝在初始化时快速部署边缘计算中的 DNN

    利用结构化剪枝技术，Reconvene 系统可快速生成适用于边缘部署的经剪枝模型，大小减小了 16.21 倍，速度加快 2 倍，同时保持与未经剪枝的模型相同的准确性。

    Apr, 2024

  • 使用能量感知剪枝设计高能效卷积神经网络

    本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

    Nov, 2016

  • 面向资源受限的卷积神经网络的分层补偿剪枝

    本研究提出一种新算法 —— 层补偿剪枝，采用元学习来确定更优的解决方案，成功将网络剪枝后的准确度降低到 0.7%，且由 1 小时缩短至 7 分钟的元学习时间可以节省大量资源和时间成本。

    Oct, 2018

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

    May, 2019

  • FCN-Pose: 简化与量化的 CNN 用于约束设备机器人姿态估计

    本研究提出一种基于压缩技术的新型卷积神经网络 (CNN)，通过修剪 (pruning) 和量化 (quantization) 技术降低其对计算和存储资源的需求。研究运行在机械臂姿态估计任务中，结果显示修剪 70% 后，参数和 FLOPS 的需求分别减少 88.86％和 94.45％，即使在高负载情况下高端设备的响应时间显着改善，输入图像处理速度从 11.71 FPS 提高到 41.9 FPS，而使用受限设备时，图像处理速度也提高了从 2.86 FPS 到 10.04 FPS。

    May, 2022

  • 通过两阶段深度强化学习进行深度模型压缩

    本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

    Dec, 2019