绿色人工智能
人工智能在技术和研究方面取得了显著的进展,并广泛应用于计算视觉、自然语言处理、时间序列分析、语音合成等多个领域。然而,随着大型语言模型的出现,研究人员的注意力主要集中在追求最新的技术成果,导致模型规模和计算复杂性不断增加,需要更高的计算能力,进而产生更高的碳排放量,阻碍了资金有限的中小型研究机构和公司参与研究,并引发研究公平性的问题。为应对计算资源和人工智能的环境影响,绿色计算已成为一个热门的研究课题。在本调研中,我们对绿色计算中使用的技术进行了系统概述,并提出绿色计算的框架,将其分为四个关键组成部分:(1) 绿色度量指标,(2) 能效人工智能,(3) 能效计算系统和 (4) 可持续发展的人工智能应用案例。针对每个组成部分,我们讨论了研究进展及常用的优化技术,结论表明这个新的研究方向有潜力解决资源限制与人工智能发展之间的冲突。我们鼓励更多的研究人员关注这个方向,使人工智能更加环保友好。
Nov, 2023
通过对 98 个文献的分析,系统地回顾了绿色人工智能研究领域。大多数研究关注于 AI 模型的环境可持续性,包括监控 AI 模型的排放量、调整超参数以提高模型的可持续性,或者对模型进行基准测试。实验室实验是最常见的研究策略。报告的节能率高达 115%,其中节能 50%以上相当普遍。
Jan, 2023
本文系统地回顾了 Green deep learning 技术的发展,将这些方法分类为紧凑网络、节能训练策略、节能推理方法和高效数据使用四个类别,讨论了已经实现的进展和未解决的挑战。
Nov, 2021
本文探讨了绿色人工智能的前景,以实现更可持续、能效更高和更能意识到能源生态系统,在人工智能研究、计算和从业者社区中进行开发。包括对操作和硬件优化、数据中心 / 高性能集群的潜在变化和改进的鸟瞰,以及人工智能研究和实践世界中现有的激励结构。
Jan, 2023
该论文介绍了一个名为 eco2AI 的开源工具,可以帮助科学家跟踪深度神经网络模型训练和推理的能量消耗和等效二氧化碳排放,并鼓励研究社区寻找具有较低计算成本的新型人工智能(AI)架构,并建立可持续 AI 和绿色 AI 的路径。
Jul, 2022
本篇研究从数据、算法和硬件系统综合视角探讨了 AI 的超线性增长趋势对环境的影响,着重分析了 AI 计算的碳足迹和硬件系统的全生命周期,并提出了硬件 - 软件设计和优化对减少 AI 总体碳足迹的重要性,讨论了 AI 领域的挑战和发展方向。
Oct, 2021
本文针对近年来训练神经网络时所涉及的大量计算资源和能源消耗造成的高昂费用和环境问题进行了研究和评估,并提出了降低其成本和改善 NLP 研究和实践公平性的建议。
Jun, 2019
该研究评估了大规模语言模型的二氧化碳排放,并提出减少碳排放的措施,探讨了硬件选择对二氧化碳排放的影响。基于结果,提出了培训更环境友好的人工智能模型的可能性,并认为可以在不牺牲其鲁棒性和性能的情况下实现。
Apr, 2024