Carbontracker: 跟踪和预测深度学习模型的碳足迹
通过计算 T5,Meena,GShard,Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹,我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量,并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面,对机器学习的能源效率进行度量是具有挑战性的,但我们相信通过明确计算能源消耗和碳足迹,并与开发人员合作,将能源使用作为关键指标来评估模型,可以帮助减少机器学习的碳足迹。
Apr, 2021
通过采用四种最佳实践方法能将机器学习的培训能源降低 100 倍及 CO2 排放量降低 1000 倍。如果整个机器学习领域采用最佳实践,将会减少训练的碳排放量。因此,我们建议机器学习论文中应当明确列出碳排放数据以促进关于模型质量以外的更广泛的竞争。
Apr, 2022
为了解决机器学习模型能耗大导致大碳足迹的问题,我们构建了能量估计流水线,通过收集高质量的能量数据和建立的预测模型,能够预测深度学习模型的能耗。
Apr, 2023
通过引入一种功能框架,我们可以实现实时跟踪机器学习的能源消耗和碳排放,并生成标准化的在线附录。利用此框架,我们创建了一个能源高效强化学习算法排行榜,以激励负责任的研究,并提出了减少碳排放和节约能源的策略,以推动机器学习领域的可持续发展。
Jan, 2020
该论文提出了一个名为 Chase 的解决方案,通过实时监控碳强度变化和控制 GPU 的能源消耗,减少了深度学习训练的碳足迹。同时,该方案还提出了一种轻量级机器学习算法,用于预测未来时间段的碳强度,实现主动适应。在 ResNet-50 在 ImageNet 上的训练中,Chase 方案可将总碳足迹降低 13.6%,仅增加 2.5%的训练时间。
Mar, 2023
为了提高隐私和保证服务质量,深度学习模型越来越多地部署在物联网设备上进行数据处理,从而显著增加了与物联网上深度学习相关的碳足迹,覆盖了运营和实体方面。本文引入了 extit {CARB},一种用于物联网上深度学习精确估计碳足迹的端到端建模工具,通过多个 DL 模型的实际测量,演示了相对于实际测量值的碳足迹值最大的 ±21%偏差。此外,展示了 extit {CARB} 的多个用户案例研究的实际应用。
Mar, 2024
该研究评估了大规模语言模型的二氧化碳排放,并提出减少碳排放的措施,探讨了硬件选择对二氧化碳排放的影响。基于结果,提出了培训更环境友好的人工智能模型的可能性,并认为可以在不牺牲其鲁棒性和性能的情况下实现。
Apr, 2024
本文通过使用深度卷积神经网络的实证研究,研究了深度学习模型的体系结构与其环境影响之间的关系,重点关注能源消耗和二氧化碳排放等方面的交易,并探讨了精度和能源效率之间的权衡,以及使用软件和硬件工具测量能量消耗的差异。
Feb, 2023