本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

Nov, 2016

通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。

Oct, 2019

本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

Aug, 2017

本文提出了一种新的 CNN 设计方法，旨在通过对 CNN 架构和训练过程的综合干预来减少总推理计算量，通过引入一种新的结构元素作为附加组件到任何现代 CNN 架构中，系统地提出了一种数据驱动的开发 CNN 的公式，旨在实时改变大小和形式，从而使计算占用更小。最佳实现的结果表明了在几个现代高端移动计算平台上的显著加速。

Jan, 2017

本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。

Nov, 2018

本研究采用超参数优化的设计范式，将 CNN 的架构设置视为全局优化的超参数，以解决现有方法中网络处理数据而不是网络架构的局限性，实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。

Aug, 2018

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016

为了提高卷积神经网络（CNNs）的分类准确率，但不增加计算与存储成本，我们提出了一种采用强化学习所选择的原始图像中的一系列相对较小的输入进行处理的框架，从而实现了高效的图像分类。实验表明，采用我们提出的方法可以在不牺牲准确性的前提下显著提高多种深度模型的计算效率。

Oct, 2020

本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。

Oct, 2017

卷积神经网络（CNN）在面对声音识别、自然语言处理或计算机视觉等具有挑战性的任务时被广泛使用。本文提出了一种新颖的 CNN 优化和构建方法，基于剪枝和知识蒸馏，旨在确定卷积层的重要性，以减少计算要求，并在资源受限设备上部署。经过彻底的实证研究，包括最佳数据集（CIFAR-10、CIFAR-100 和 Imagenet）和 CNN 架构（VGG-16、ResNet-50、DenseNet-40 和 MobileNet），我们评估了该提议，并将准确度损失和剩余参数比率作为客观指标来比较 OCNNA 与其他最先进的方法的性能。与其他 20 多种卷积神经网络简化算法相比，我们的方法取得了出色的结果。因此，OCNNA 是一种竞争性的 CNN 构建方法，可以简化神经网络部署到物联网或资源有限设备的过程。

Dec, 2023