Oct, 2017

NeuralPower: 预测和部署高效卷积神经网络

PDF
TL;DR本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。
convolutional neural networkenergy consumptionneuralpowerenergy-precision ratiomachine learning
发现论文，激发创造
  • 使用能量感知剪枝设计高能效卷积神经网络

    本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

    Nov, 2016

  • E2-Train: 基于 E2 方法训练最先进的 CNN 并节省 80% 以上的能量

    通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。

    Oct, 2019

  • 面向神经进化系统的物理合理性研究

    通过最大化神经进化框架下人工神经网络模型的准确性和最小化功耗，本研究提出了一种新的变异策略，引入了模块层的随机重新引入，通过训练过程中同时训练两个模型以推动其中一个模型的功耗更低且准确性相似，结果表明功耗降低了 29.2%，但预测性能基本不受影响。

    Jan, 2024

  • 面向能耗限制的图像分类自适应神经网络设计

    本研究采用超参数优化的设计范式，将 CNN 的架构设置视为全局优化的超参数，以解决现有方法中网络处理数据而不是网络架构的局限性，实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。

    Aug, 2018

  • 深度神经网络模型在实践应用中的分析

    本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

    May, 2016

  • 集成能源系统短期多能源需求预测的深度卷积神经网络

    开发基于卷积神经网络的六种新型预测模型，用于预测集成能源系统的多能源需求，评估结果使用信噪比和均方根误差进行。

    Dec, 2023

  • EPAM：移动 AI 的预测能耗模型

    本研究介绍了针对不同 DNN 模型和处理源的移动 AI 应用的全面研究，重点关注计算资源利用率、延迟和能量消耗。通过广泛的实验，我们测量了所有模型的延迟、能量消耗和内存使用情况，并提出了一种基于 DNN 结构、计算资源和处理器的高斯过程回归预测能量模型。此研究为 AI 研究社区提供了关键事实和能量预测机制，以帮助移动 AI 应用程序实现能源效率。

    Mar, 2023

  • 高效计算的神经网络评分

    通过引入一个复合分数来衡量精确度和功耗在神经网络推断过程中的权衡，本文提出了一个新的开源工具，使研究人员能够考虑更多的指标，包括细粒度的功耗、RAM/CPU/GPU 利用率，以及存储和网络的输入 / 输出。该方法被用于探索神经网络的能耗和精确度之间的折衷，同时也有助于对比两种架构，以更准确地适配硬件和进行架构探索。

    Oct, 2023

  • 针对神经形态应用优化突触神经网络的能耗消耗

    该文介绍了将卷积神经网络转化为脉冲神经网络的方法，并探讨了量化感知的训练及优化策略对于能效的影响，实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。

    Dec, 2019

  • 卷积神经网络用于关键词检测时的功耗实验分析

    本文研究了基于 Raspberry Pi 的小型关键词检测卷积神经网络的功耗，发现操作次数比模型参数数目更好地预测能耗，并证实准确度最高的模型也是最耗能的。

    Oct, 2017