面向能耗限制的图像分类自适应神经网络设计

Aug, 2018

面向能耗限制的图像分类自适应神经网络设计

Designing Adaptive Neural Networks for Energy-Constrained Image Classification

Dimitrios Stamoulis, Ting-Wu Chin, Anand Krishnan Prakash, Haocheng Fang, Sribhuvan Sajja...

TL;DR本研究采用超参数优化的设计范式，将 CNN 的架构设置视为全局优化的超参数，以解决现有方法中网络处理数据而不是网络架构的局限性，实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。

Abstract

As convolutional neural networks (CNNs) enable state-of-the-art computer vision applications, their high energy consumption has emerged as a key impediment to their deployment on embedded and →

convolutional neural networks adaptive cnns hyper-parameter optimization energy consumption mobile devices

发现论文，激发创造

使用能量感知剪枝设计高能效卷积神经网络

本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

Nov, 2016

面向低功耗计算机视觉的即时深度神经网络优化控制

移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

Sep, 2023

E2-Train: 基于 E2 方法训练最先进的 CNN 并节省 80% 以上的能量

通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。

Oct, 2019

NeuralPower: 预测和部署高效卷积神经网络

本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。

Oct, 2017

能源高效的哈达玛神经网络

通过使用二进制权重网络（BWN）和哈达玛变换图像网络（HIN）的组合，我们提出了一种新颖的低能耗模型 Binary Weight and Hadamard-transformed Image Network（BWHIN）, 在保证分类准确性的前提下实现了更高的能效。

May, 2018

限定时间成本下的卷积神经网络

本文研究在时间约束成本下，卷积神经网络的准确性和架构设计所需的权衡。通过一系列对比实验，得出一个在 ImageNet 数据集中准确率很高（11.8% 的 top-5 误差，10 视图测试），但比 AlexNet（16.0% 的 top-5 误差，10 视图测试）快 20% 的网络架构。

Dec, 2014

利用聚焦卷积消除无关像素提高预训练 CNN 推理延迟和能效的自动化方法

通过插入一个阈值层来过滤图片中的无关区域，从而使预训练的深度卷积神经网络更加节能、减少计算需求，并在准确率几乎不下降的情况下节省推断延迟和能源消耗。

Oct, 2023

卷积神经网络架构优化

卷积神经网络（CNN）在面对声音识别、自然语言处理或计算机视觉等具有挑战性的任务时被广泛使用。本文提出了一种新颖的 CNN 优化和构建方法，基于剪枝和知识蒸馏，旨在确定卷积层的重要性，以减少计算要求，并在资源受限设备上部署。经过彻底的实证研究，包括最佳数据集（CIFAR-10、CIFAR-100 和 Imagenet）和 CNN 架构（VGG-16、ResNet-50、DenseNet-40 和 MobileNet），我们评估了该提议，并将准确度损失和剩余参数比率作为客观指标来比较 OCNNA 与其他最先进的方法的性能。与其他 20 多种卷积神经网络简化算法相比，我们的方法取得了出色的结果。因此，OCNNA 是一种竞争性的 CNN 构建方法，可以简化神经网络部署到物联网或资源有限设备的过程。

Dec, 2023

多尺度稠密网络用于资源高效的图像分类

该论文研究了在测试时具有计算资源限制的图像分类问题，并通过训练多个带有不同资源需求的分类器并将其作为早期退出引入单个深度卷积神经网络中以最大程度地重用计算，实现了在任意时间进行预测和分配不同的计算量来分类一组样本，框架显著改善了现有技术在两种情况下的表现。

Mar, 2017

面向能耗 - 准确性权衡的实时可配置深度神经网络

提出一种新的动态配置技术，可在运行时进行逐步的能量 - 精确度权衡，调整深度神经网络中通道数量，以响应时间、功率和准确性目标调整，并且我们对 MNIST、CIFAR-10 和 SVHN 数据集的三个知名网络进行了性能分析并证明，我们能够在三个基准测试中实现高达 95% 的能量降低且不到 1% 的准确率损失。

Jul, 2016