Apr, 2024

绿色人工智能：探索大型语言模型训练中的碳足迹、减缓策略和权衡

PDF
TL;DR该研究评估了大规模语言模型的二氧化碳排放，并提出减少碳排放的措施，探讨了硬件选择对二氧化碳排放的影响。基于结果，提出了培训更环境友好的人工智能模型的可能性，并认为可以在不牺牲其鲁棒性和性能的情况下实现。
natural language processinggreenhouse gas emissionsco2 emissionsartificial intelligenceenvironmentally safe ai models
发现论文，激发创造
  • LLMCarbon：大型语言模型的端到端碳足迹建模

    大型语言模型的碳足迹估算对于新的神经网络的训练前有重要意义，现有研究已报告了训练过程中的碳足迹，然而现有工具在估算碳足迹时存在一些严重限制，为填补这些空白，我们引入了 LLMCarbon，一个端到端的碳足迹预测模型，可以显著提高大型语言模型的碳足迹估算的准确性。

    Sep, 2023

  • 机器学习培训的碳足迹将达到顶峰，然后逐渐减少

    通过采用四种最佳实践方法能将机器学习的培训能源降低 100 倍及 CO2 排放量降低 1000 倍。如果整个机器学习领域采用最佳实践，将会减少训练的碳排放量。因此，我们建议机器学习论文中应当明确列出碳排放数据以促进关于模型质量以外的更广泛的竞争。

    Apr, 2022

  • 如何估计深度学习模型训练的碳足迹？指南与综述

    介绍了针对机器学习模型训练期间能源消耗量的多种在线和软件工具，并对这些工具的特定词汇、技术要求进行了评估和比较，并提供了一些建议。

    Jun, 2023

  • 机器学习的碳排放量量化

    本文提出了一个机器学习排放计算器工具，并阐述了影响神经网络训练中所产生的碳排放量的重要因素有哪些，以及个人从业者和组织可以采取的具体行动来减少排放。

    Oct, 2019

  • 碳排放和大型神经网络训练

    通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

    Apr, 2021

  • 自然语言处理研究中的气候意识

    该论文讨论了 NLP 研究中使用计算模型所耗费的能量问题，提出了使用气候表现模型卡的可行性，以简化气候报告。

    May, 2022

  • 绿色人工智能的系统性评估

    通过对 98 个文献的分析，系统地回顾了绿色人工智能研究领域。大多数研究关注于 AI 模型的环境可持续性，包括监控 AI 模型的排放量、调整超参数以提高模型的可持续性，或者对模型进行基准测试。实验室实验是最常见的研究策略。报告的节能率高达 115％，其中节能 50％以上相当普遍。

    Jan, 2023

  • Eco2AI: 机器学习模型碳排放跟踪 —— 可持续人工智能的第一步

    该论文介绍了一个名为 eco2AI 的开源工具，可以帮助科学家跟踪深度神经网络模型训练和推理的能量消耗和等效二氧化碳排放，并鼓励研究社区寻找具有较低计算成本的新型人工智能（AI）架构，并建立可持续 AI 和绿色 AI 的路径。

    Jul, 2022

  • 自然语言处理中深度学习的能源和政策考虑

    本文针对近年来训练神经网络时所涉及的大量计算资源和能源消耗造成的高昂费用和环境问题进行了研究和评估，并提出了降低其成本和改善 NLP 研究和实践公平性的建议。

    Jun, 2019

  • 大国的责任：降低语言模型训练能耗的建议

    本文探讨了用于减少 NLP 应用程序能源消耗的技术，其中包括衡量能源使用的技巧以及可以调节以减少训练和推理的能源消耗的不同硬件和数据中心设置，例如功率限制，可使基于变压器的语言模型训练的能源使用减少 15％。

    May, 2022