ML 训练与推断中的能耗实证研究

Jun, 2024

Computing Within Limits: An Empirical Study of Energy Consumption in ML Training and Inference

Ioannis Mavromatis, Kostas Katsaros, Aftab Khan

TL;DR本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。

Abstract

machine learning (ML) has seen tremendous advancements, but its environmental footprint remains a concern. Acknowledging the growing environmental impact of ML this paper investigates green ml, examining various

machine learning environmental footprint green ml energy-efficient sustainable ml operations

发现论文，激发创造

大国的责任：降低语言模型训练能耗的建议

本文探讨了用于减少 NLP 应用程序能源消耗的技术，其中包括衡量能源使用的技巧以及可以调节以减少训练和推理的能源消耗的不同硬件和数据中心设置，例如功率限制，可使基于变压器的语言模型训练的能源使用减少 15％。

May, 2022

机器学习培训的碳足迹将达到顶峰，然后逐渐减少

通过采用四种最佳实践方法能将机器学习的培训能源降低 100 倍及 CO2 排放量降低 1000 倍。如果整个机器学习领域采用最佳实践，将会减少训练的碳排放量。因此，我们建议机器学习论文中应当明确列出碳排放数据以促进关于模型质量以外的更广泛的竞争。

Apr, 2022

碳排放和大型神经网络训练

通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

Apr, 2021

DL 模型和训练环境对能耗有影响吗？

本研究分析了选择适当的模型架构和训练环境可以显著降低计算机视觉模型的能源消耗，同时保持模型正确性，也发现对于更好的能源效率，GPU 应该与模型的计算复杂度进行比例缩放。

Jul, 2023

如何估计深度学习模型训练的碳足迹？指南与综述

介绍了针对机器学习模型训练期间能源消耗量的多种在线和软件工具，并对这些工具的特定词汇、技术要求进行了评估和比较，并提供了一些建议。

Jun, 2023

神经网络结构训练的能效：一项实证研究

本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

Feb, 2023

机器学习的能源和碳足迹的系统化报告

通过引入一种功能框架，我们可以实现实时跟踪机器学习的能源消耗和碳排放，并生成标准化的在线附录。利用此框架，我们创建了一个能源高效强化学习算法排行榜，以激励负责任的研究，并提出了减少碳排放和节约能源的策略，以推动机器学习领域的可持续发展。

Jan, 2020

实现绿色机器学习服务的架构设计决策鉴别

通过分析机器学习模型在 ML 服务中的架构设计决策，识别与之相关的组件，与相关的技术栈，以及文献中研究的质量特征，包括能源效率，此研究旨在为研究者和从业者在提供模型时做出有环保意识的架构设计决策提供参考。

Feb, 2024

机器学习的碳排放量量化

本文提出了一个机器学习排放计算器工具，并阐述了影响神经网络训练中所产生的碳排放量的重要因素有哪些，以及个人从业者和组织可以采取的具体行动来减少排放。

Oct, 2019

准确性不是唯一重要的度量标准：估计深度学习模型的能源消耗

为了解决机器学习模型能耗大导致大碳足迹的问题，我们构建了能量估计流水线，通过收集高质量的能量数据和建立的预测模型，能够预测深度学习模型的能耗。

Apr, 2023