Apr, 2022

机器学习培训的碳足迹将达到顶峰，然后逐渐减少

PDF
TL;DR通过采用四种最佳实践方法能将机器学习的培训能源降低 100 倍及 CO2 排放量降低 1000 倍。如果整个机器学习领域采用最佳实践，将会减少训练的碳排放量。因此，我们建议机器学习论文中应当明确列出碳排放数据以促进关于模型质量以外的更广泛的竞争。
发现论文，激发创造
  • 机器学习的碳排放量量化

    本文提出了一个机器学习排放计算器工具，并阐述了影响神经网络训练中所产生的碳排放量的重要因素有哪些，以及个人从业者和组织可以采取的具体行动来减少排放。

    Oct, 2019

  • 碳排放和大型神经网络训练

    通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

    Apr, 2021

  • 如何估计深度学习模型训练的碳足迹？指南与综述

    介绍了针对机器学习模型训练期间能源消耗量的多种在线和软件工具，并对这些工具的特定词汇、技术要求进行了评估和比较，并提供了一些建议。

    Jun, 2023

  • Carbontracker: 跟踪和预测深度学习模型的碳足迹

    本文介绍了 Carbontracker 工具，它可以跟踪和预测深度学习模型的能源和碳足迹，并提出报道模型开发和训练的能源和碳足迹，以促进机器学习的负责任计算和鼓励深层神经网络的能源效率研究。

    Jul, 2020

  • 绿色人工智能：探索大型语言模型训练中的碳足迹、减缓策略和权衡

    该研究评估了大规模语言模型的二氧化碳排放，并提出减少碳排放的措施，探讨了硬件选择对二氧化碳排放的影响。基于结果，提出了培训更环境友好的人工智能模型的可能性，并认为可以在不牺牲其鲁棒性和性能的情况下实现。

    Apr, 2024

  • ML 训练与推断中的能耗实证研究

    本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。

    Jun, 2024

  • 机器学习的能源和碳足迹的系统化报告

    通过引入一种功能框架，我们可以实现实时跟踪机器学习的能源消耗和碳排放，并生成标准化的在线附录。利用此框架，我们创建了一个能源高效强化学习算法排行榜，以激励负责任的研究，并提出了减少碳排放和节约能源的策略，以推动机器学习领域的可持续发展。

    Jan, 2020

  • 探究 Hugging Face 机器学习模型的碳足迹：一个代码存储库挖掘研究

    本研究对 Hugging Face 仓库中 1417 个机器学习模型及相关数据集的碳足迹进行了分析，提出了提高能源报告和促进碳效率模型开发的分类建议，研究结果强调了软件测量的必要性。

    May, 2023

  • 利用机器学习估计企业温室气体排放量

    通过训练机器学习模型进行温室气体排放的估算可以帮助投资者符合环保法规措施和实现净零排放的目标。

    Sep, 2021

  • 实现可持续深度神经网络训练的低碳电力追求

    该论文提出了一个名为 Chase 的解决方案，通过实时监控碳强度变化和控制 GPU 的能源消耗，减少了深度学习训练的碳足迹。同时，该方案还提出了一种轻量级机器学习算法，用于预测未来时间段的碳强度，实现主动适应。在 ResNet-50 在 ImageNet 上的训练中，Chase 方案可将总碳足迹降低 13.6％，仅增加 2.5％的训练时间。

    Mar, 2023