该研究评估了大规模语言模型的二氧化碳排放，并提出减少碳排放的措施，探讨了硬件选择对二氧化碳排放的影响。基于结果，提出了培训更环境友好的人工智能模型的可能性，并认为可以在不牺牲其鲁棒性和性能的情况下实现。

Apr, 2024

通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

Apr, 2021

该论文通过详细的定量比较大型语言模型和传统方法在性能、时间、能耗和成本等方面的表现，发现简单算法往往能够在性能接近的情况下以较低的能耗和资源需求获得结果，从而建议企业在选择机器学习方案时进行额外评估。

Nov, 2023

大型语言模型（LLMs）的计算和能源资源利用的推理性能进行了基准测试和初步分析，分析了不同规模的 LLMa 在两代热门 GPU（NVIDIA V100 和 A100）以及两个数据集（Alpaca 和 GSM8K）上的推理性能与推理能源成本。

Oct, 2023

近年来，大型语言模型（LLMs）在各个领域取得了快速进展和令人印象深刻的能力。本文探讨了 LLMs 在建筑能效和碳减排研究中的应用、影响和潜力。文章考察了 LLMs 在建筑能源领域的广泛能力，包括智能控制系统、代码生成、数据基础设施、知识提取和教育。尽管 LLMs 具有很大的潜力，但仍存在复杂和昂贵的计算、数据隐私、安全和版权、精细调整 LLMs 的复杂性以及自一致性等挑战。文章最后呼吁未来的研究集中在增强 LLMs 的领域特定任务、多模式 LLMs 和人工智能与能源专家之间的合作研究上。

Dec, 2023

本文介绍了 Carbontracker 工具，它可以跟踪和预测深度学习模型的能源和碳足迹，并提出报道模型开发和训练的能源和碳足迹，以促进机器学习的负责任计算和鼓励深层神经网络的能源效率研究。

Jul, 2020

本文提出了一个机器学习排放计算器工具，并阐述了影响神经网络训练中所产生的碳排放量的重要因素有哪些，以及个人从业者和组织可以采取的具体行动来减少排放。

Oct, 2019

本研究旨在量化 BLOOM 语言模型的碳足迹，并研究了其在训练和推断过程中的能源消耗和环境影响，结果显示其训练过程总计排放了 24.7 至 50.5 吨 CO2，同时探讨了未来研究方向以改善机器学习模型的碳排放报告。

Nov, 2022

通过采用四种最佳实践方法能将机器学习的培训能源降低 100 倍及 CO2 排放量降低 1000 倍。如果整个机器学习领域采用最佳实践，将会减少训练的碳排放量。因此，我们建议机器学习论文中应当明确列出碳排放数据以促进关于模型质量以外的更广泛的竞争。

Apr, 2022

我们的研究比较了不同的领先嵌入算法及其碳足迹的准确性，从而为每个嵌入算法提供了一个全面的审视。

Dec, 2023