通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

Apr, 2021

本文针对近年来训练神经网络时所涉及的大量计算资源和能源消耗造成的高昂费用和环境问题进行了研究和评估，并提出了降低其成本和改善 NLP 研究和实践公平性的建议。

Jun, 2019

该研究评估了大规模语言模型的二氧化碳排放，并提出减少碳排放的措施，探讨了硬件选择对二氧化碳排放的影响。基于结果，提出了培训更环境友好的人工智能模型的可能性，并认为可以在不牺牲其鲁棒性和性能的情况下实现。

Apr, 2024

本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

Feb, 2023

本文提出了一个机器学习排放计算器工具，并阐述了影响神经网络训练中所产生的碳排放量的重要因素有哪些，以及个人从业者和组织可以采取的具体行动来减少排放。

Oct, 2019

介绍了针对机器学习模型训练期间能源消耗量的多种在线和软件工具，并对这些工具的特定词汇、技术要求进行了评估和比较，并提供了一些建议。

Jun, 2023

通过最大化神经进化框架下人工神经网络模型的准确性和最小化功耗，本研究提出了一种新的变异策略，引入了模块层的随机重新引入，通过训练过程中同时训练两个模型以推动其中一个模型的功耗更低且准确性相似，结果表明功耗降低了 29.2%，但预测性能基本不受影响。

Jan, 2024

本文探讨了用于减少 NLP 应用程序能源消耗的技术，其中包括衡量能源使用的技巧以及可以调节以减少训练和推理的能源消耗的不同硬件和数据中心设置，例如功率限制，可使基于变压器的语言模型训练的能源使用减少 15％。

May, 2022

本文介绍了 Carbontracker 工具，它可以跟踪和预测深度学习模型的能源和碳足迹，并提出报道模型开发和训练的能源和碳足迹，以促进机器学习的负责任计算和鼓励深层神经网络的能源效率研究。

Jul, 2020

本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。

Jun, 2024