Apr, 2021

碳排放和大型神经网络训练

PDF
TL;DR通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。
machine learningenergy consumptioncarbon footprintdatacenter infrastructureenergy efficiency
发现论文，激发创造
  • 机器学习的碳排放量量化

    本文提出了一个机器学习排放计算器工具，并阐述了影响神经网络训练中所产生的碳排放量的重要因素有哪些，以及个人从业者和组织可以采取的具体行动来减少排放。

    Oct, 2019

  • 机器学习培训的碳足迹将达到顶峰，然后逐渐减少

    通过采用四种最佳实践方法能将机器学习的培训能源降低 100 倍及 CO2 排放量降低 1000 倍。如果整个机器学习领域采用最佳实践，将会减少训练的碳排放量。因此，我们建议机器学习论文中应当明确列出碳排放数据以促进关于模型质量以外的更广泛的竞争。

    Apr, 2022

  • Carbontracker: 跟踪和预测深度学习模型的碳足迹

    本文介绍了 Carbontracker 工具，它可以跟踪和预测深度学习模型的能源和碳足迹，并提出报道模型开发和训练的能源和碳足迹，以促进机器学习的负责任计算和鼓励深层神经网络的能源效率研究。

    Jul, 2020

  • 实现可持续深度神经网络训练的低碳电力追求

    该论文提出了一个名为 Chase 的解决方案，通过实时监控碳强度变化和控制 GPU 的能源消耗，减少了深度学习训练的碳足迹。同时，该方案还提出了一种轻量级机器学习算法，用于预测未来时间段的碳强度，实现主动适应。在 ResNet-50 在 ImageNet 上的训练中，Chase 方案可将总碳足迹降低 13.6％，仅增加 2.5％的训练时间。

    Mar, 2023

  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • 如何估计深度学习模型训练的碳足迹？指南与综述

    介绍了针对机器学习模型训练期间能源消耗量的多种在线和软件工具，并对这些工具的特定词汇、技术要求进行了评估和比较，并提供了一些建议。

    Jun, 2023

  • 自然语言处理中深度学习的能源和政策考虑

    本文针对近年来训练神经网络时所涉及的大量计算资源和能源消耗造成的高昂费用和环境问题进行了研究和评估，并提出了降低其成本和改善 NLP 研究和实践公平性的建议。

    Jun, 2019

  • 神经机器翻译系统的生态足迹

    本文主要讨论神经机器翻译系统的生态足迹，包括对各种硬件的消耗比较以及量化技术在降低能源消耗方面的应用。

    Feb, 2022

  • 绿色人工智能：探索大型语言模型训练中的碳足迹、减缓策略和权衡

    该研究评估了大规模语言模型的二氧化碳排放，并提出减少碳排放的措施，探讨了硬件选择对二氧化碳排放的影响。基于结果，提出了培训更环境友好的人工智能模型的可能性，并认为可以在不牺牲其鲁棒性和性能的情况下实现。

    Apr, 2024

  • 准确性不是唯一重要的度量标准：估计深度学习模型的能源消耗

    为了解决机器学习模型能耗大导致大碳足迹的问题，我们构建了能量估计流水线，通过收集高质量的能量数据和建立的预测模型，能够预测深度学习模型的能耗。

    Apr, 2023