Oct, 2017

NeuralPower:预测和部署高效卷积神经网络

HTML
PDF
TL;DR本研究提出基于稀疏多项式回归的逐层预测框架NeuralPower，以准确预测在任何GPU平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了“能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的CNN架构。实验结果表明，该框架可以提高预测精度高达68.5％，且可以在不同GPU平台和深度学习软件工具上得到验证。
发现论文，激发创造
  • 使用能量感知剪枝设计高能效卷积神经网络

    本研究提出了一种新的基于能量消耗估计的卷积神经网络( CNNs )剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet和GoogLeNet的能量消耗分别降低了3.7x和1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

    Nov, 2016

  • 硬件感知机器学习：建模与优化

    本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

    Sep, 2018

  • E2-Train: 基于E2方法训练最先进的CNN并节省80%以上的能量

    通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过2%) 的前提下，实现能耗降低超过90%。

    Oct, 2019

  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • Watt为何物：重新思考深度学习的能耗和性能关系

    我们研究了深度学习模型在准确性和电力消耗之间的权衡，并提出一种惩罚高电力消耗的度量标准。通过评估单位电力消耗下的准确性，我们展示了更小、更能源高效的模型如何在减缓环境问题的同时显著加快研究进展。这项研究强调了深度学习优化模型效率的重要性，为更公平的竞争环境做出了贡献。

    Oct, 2023

  • 高效计算的神经网络评分

    通过引入一个复合分数来衡量精确度和功耗在神经网络推断过程中的权衡，本文提出了一个新的开源工具，使研究人员能够考虑更多的指标，包括细粒度的功耗、RAM/CPU/GPU利用率，以及存储和网络的输入/输出。该方法被用于探索神经网络的能耗和精确度之间的折衷，同时也有助于对比两种架构，以更准确地适配硬件和进行架构探索。

    Oct, 2023

  • 揭示深度学习的能效：边缘设备上的测量、预测和评分

    本研究通过测量、预测和评分等三个方面的研究，揭示了边缘设备中深度学习的能量消耗特征，并设计了基于内核级能量数据集的边缘设备上的内核级能量预测器，最后引入了两个评分指标，旨在将复杂的边缘设备功耗和能量消耗数据转化为易于理解的形式，以推动边缘计算中的可持续发展思维。

    Oct, 2023

  • PolyThrottle: 边缘设备上的能效高的神经网络推断

    通过使用约束性贝叶斯优化，该研究论文研究在推理阶段配置与能耗之间的关系，提出了PolyThrottle解决方案，能够在满足应用约束条件的同时，对个别硬件组件进行优化配置，从而将能耗降低了36%。

    Oct, 2023

  • 测量深度神经网络的能量消耗与效率：实证分析与设计建议

    调查了大规模神经网络训练的实际能耗，并介绍了BUTTER-E数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或FLOP减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

    Mar, 2024

  • ssProp：具有定时稀疏反向传播的卷积神经网络的节能训练

    本研究针对深度学习训练中高资源消耗和环境影响问题，提出了一种节能高效的卷积模块，能够与任何深度学习架构无缝集成。通过引入通道稀疏性和额外的梯度选择调度器，该方法在图像分类和生成任务中展示了高达40%的计算量减少，同时改善了模型性能，显著降低了能源消耗和碳足迹。

    Aug, 2024