使用能量感知剪枝设计高能效卷积神经网络
本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower,以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时,我们还提出了 “能耗 - 精度比”(EPR)指标,以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明,该框架可以提高预测精度高达 68.5%,且可以在不同 GPU 平台和深度学习软件工具上得到验证。
Oct, 2017
通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练,该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下,实现能耗降低超过 90%。
Oct, 2019
本研究采用超参数优化的设计范式,将 CNN 的架构设置视为全局优化的超参数,以解决现有方法中网络处理数据而不是网络架构的局限性,实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。
Aug, 2018
通过插入一个阈值层来过滤图片中的无关区域,从而使预训练的深度卷积神经网络更加节能、减少计算需求,并在准确率几乎不下降的情况下节省推断延迟和能源消耗。
Oct, 2023
提出了一种新的神经网络卷积核剪枝方法,通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变,并结合反向传播的微调来保持剪枝网络的良好泛化性能,该方法在细粒度分类任务中表现出优异的性能。
Nov, 2016
本文提出了一种新型的卷积神经网络压缩算法,通过利用网络层级复杂性,设计了三种剪枝模式:参数感知型、浮点运算量感知型和内存感知型,以在低功耗设备上实现高效率的模型压缩和加速,并在智能农业,智能医疗和智能工厂等应用中表现出了极高的性能表现。
Aug, 2022
本研究旨在通过对卷积神经网络的通道剪枝方法进行优化,以提高在移动和嵌入式设备上的计算效率,虽然有些情况下通道剪枝算法可能会损害计算性能,但是我们还是发现采用基于性能的剪枝会达到预期的效果。
Feb, 2020
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
卷积神经网络(CNN)在面对声音识别、自然语言处理或计算机视觉等具有挑战性的任务时被广泛使用。本文提出了一种新颖的 CNN 优化和构建方法,基于剪枝和知识蒸馏,旨在确定卷积层的重要性,以减少计算要求,并在资源受限设备上部署。经过彻底的实证研究,包括最佳数据集(CIFAR-10、CIFAR-100 和 Imagenet)和 CNN 架构(VGG-16、ResNet-50、DenseNet-40 和 MobileNet),我们评估了该提议,并将准确度损失和剩余参数比率作为客观指标来比较 OCNNA 与其他最先进的方法的性能。与其他 20 多种卷积神经网络简化算法相比,我们的方法取得了出色的结果。因此,OCNNA 是一种竞争性的 CNN 构建方法,可以简化神经网络部署到物联网或资源有限设备的过程。
Dec, 2023