Jul, 2023

能源感知训练最小化深度学习模型的能耗

PDF
TL;DR通过使用基于梯度下降的算法，利用可微分的近似表示 $l_0$ 范数作为稀疏惩罚减少训练模型过程中的能源消耗和预测延迟，实验结果表明该方法能够在分类表现和能源效率之间达到更好的平衡。
发现论文，激发创造
  • 准确性不是唯一重要的度量标准：估计深度学习模型的能源消耗

    为了解决机器学习模型能耗大导致大碳足迹的问题，我们构建了能量估计流水线，通过收集高质量的能量数据和建立的预测模型，能够预测深度学习模型的能耗。

    Apr, 2023

  • Watt 为何物：重新思考深度学习的能耗和性能关系

    我们研究了深度学习模型在准确性和电力消耗之间的权衡，并提出一种惩罚高电力消耗的度量标准。通过评估单位电力消耗下的准确性，我们展示了更小、更能源高效的模型如何在减缓环境问题的同时显著加快研究进展。这项研究强调了深度学习优化模型效率的重要性，为更公平的竞争环境做出了贡献。

    Oct, 2023

  • 测量深度神经网络的能量消耗与效率：实证分析与设计建议

    调查了大规模神经网络训练的实际能耗，并介绍了 BUTTER-E 数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或 FLOP 减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

    Mar, 2024

  • 面向神经进化系统的物理合理性研究

    通过最大化神经进化框架下人工神经网络模型的准确性和最小化功耗，本研究提出了一种新的变异策略，引入了模块层的随机重新引入，通过训练过程中同时训练两个模型以推动其中一个模型的功耗更低且准确性相似，结果表明功耗降低了 29.2%，但预测性能基本不受影响。

    Jan, 2024

  • 揭示深度学习的能效：边缘设备上的测量、预测和评分

    本研究通过测量、预测和评分等三个方面的研究，揭示了边缘设备中深度学习的能量消耗特征，并设计了基于内核级能量数据集的边缘设备上的内核级能量预测器，最后引入了两个评分指标，旨在将复杂的边缘设备功耗和能量消耗数据转化为易于理解的形式，以推动边缘计算中的可持续发展思维。

    Oct, 2023

  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • ML 训练与推断中的能耗实证研究

    本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。

    Jun, 2024

  • 低碳计算机视觉的全周期能耗基准

    本文提出了一种新的度量标准来衡量高效计算机视觉模型在不同应用场景下的全周期能耗，以提供在选择高效深度学习算法时降低碳排放的参考。

    Aug, 2021

  • 大国的责任：降低语言模型训练能耗的建议

    本文探讨了用于减少 NLP 应用程序能源消耗的技术，其中包括衡量能源使用的技巧以及可以调节以减少训练和推理的能源消耗的不同硬件和数据中心设置，例如功率限制，可使基于变压器的语言模型训练的能源使用减少 15％。

    May, 2022

  • 通过加权稀疏投影和层输入屏蔽的深度神经网络能量限制压缩

    借助加权稀疏投影和输入屏蔽提供量化能量消耗保证的第一个端到端深度神经网络 (DNN) 训练框架，将 DNN 训练作为优化问题，以能量预算为约束条件，将定量 DNN 能量估计集成到 DNN 训练流程中，证明有效的近似算法可以用来高效地解决优化问题。与最好的先前节能方法相比，我们的框架在相同或更低的能量预算下训练出提供更高准确性的 DNN。

    Jun, 2018