深度神经网络模型在实践应用中的分析

May, 2016

深度神经网络模型在实践应用中的分析

An Analysis of Deep Neural Network Models for Practical Applications

Alfredo Canziani, Adam Paszke, Eugenio Culurciello

TL;DR本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

Abstract

Since the emergence of deep neural networks (DNNs) as a prominent technique in the field of computer vision, the imagenet classification challenge has played a major role in advancing the state-of-the-art. While

deep neural networks imagenet classification resource utilization power consumption inference time

发现论文，激发创造

代表性深度神经网络结构的基准分析

本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。

Oct, 2018

神经网络结构训练的能效：一项实证研究

本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

Feb, 2023

NeuralPower: 预测和部署高效卷积神经网络

本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。

Oct, 2017

卷积神经网络用于关键词检测时的功耗实验分析

本文研究了基于 Raspberry Pi 的小型关键词检测卷积神经网络的功耗，发现操作次数比模型参数数目更好地预测能耗，并证实准确度最高的模型也是最耗能的。

Oct, 2017

物联网设备的计算机视觉技术调查

通过本文，我们调查了低功耗和能效更高的深度神经网络实现的最新进展，其提高了深度神经网络的可部署性而在不显著牺牲准确性的情况下。这些技术可以分为三个主要类别：神经网络压缩、网络架构搜索和设计、以及编译器和图优化。我们调查了卷积和变换器深度神经网络的低功耗技术，并总结了其优点、缺点和研究中的问题。

Aug, 2023

测量深度神经网络的能量消耗与效率：实证分析与设计建议

调查了大规模神经网络训练的实际能耗，并介绍了 BUTTER-E 数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或 FLOP 减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

Mar, 2024

深度神经网络的有效处理：教程和概述

本文综述了目前深度神经网络的应用及其在计算机视觉、语音识别、机器人等 AI 任务中的高精度表现，同时也阐述了深度神经网络大规模部署所面临的高算力成本和能效问题，并提出了硬件设计、算法优化等多种解决方案以提高能效和算力，最后对比了各种深度神经网络的设计指标并展示了很多发展资源。

Mar, 2017

高效计算的神经网络评分

通过引入一个复合分数来衡量精确度和功耗在神经网络推断过程中的权衡，本文提出了一个新的开源工具，使研究人员能够考虑更多的指标，包括细粒度的功耗、RAM/CPU/GPU 利用率，以及存储和网络的输入 / 输出。该方法被用于探索神经网络的能耗和精确度之间的折衷，同时也有助于对比两种架构，以更准确地适配硬件和进行架构探索。

Oct, 2023

硬件感知机器学习：建模与优化

本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

Sep, 2018

嵌入式系统资源高效神经网络

本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

Jan, 2020