Jan, 2024

训练的力量：神经网络不同设置对能源需求的影响

PDF
TL;DR本研究旨在探究机器学习训练模式和学习范式的变化对应的能源消耗的影响，通过评估不同超参数初始化的多种设置在两种硬件配置上的实验结果，以及在基准结果之上进行的预训练和多任务训练实验证实它们对可持续机器学习的潜力。
machine learningenergy consumptiontraining parameterscarbon emissionsustainable machine learning
发现论文，激发创造
  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • ML 训练与推断中的能耗实证研究

    本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。

    Jun, 2024

  • 自然语言处理中深度学习的能源和政策考虑

    本文针对近年来训练神经网络时所涉及的大量计算资源和能源消耗造成的高昂费用和环境问题进行了研究和评估，并提出了降低其成本和改善 NLP 研究和实践公平性的建议。

    Jun, 2019

  • 大国的责任：降低语言模型训练能耗的建议

    本文探讨了用于减少 NLP 应用程序能源消耗的技术，其中包括衡量能源使用的技巧以及可以调节以减少训练和推理的能源消耗的不同硬件和数据中心设置，例如功率限制，可使基于变压器的语言模型训练的能源使用减少 15％。

    May, 2022

  • 面向神经进化系统的物理合理性研究

    通过最大化神经进化框架下人工神经网络模型的准确性和最小化功耗，本研究提出了一种新的变异策略，引入了模块层的随机重新引入，通过训练过程中同时训练两个模型以推动其中一个模型的功耗更低且准确性相似，结果表明功耗降低了 29.2%，但预测性能基本不受影响。

    Jan, 2024

  • DL 模型和训练环境对能耗有影响吗？

    本研究分析了选择适当的模型架构和训练环境可以显著降低计算机视觉模型的能源消耗，同时保持模型正确性，也发现对于更好的能源效率，GPU 应该与模型的计算复杂度进行比例缩放。

    Jul, 2023

  • 测量深度神经网络的能量消耗与效率：实证分析与设计建议

    调查了大规模神经网络训练的实际能耗，并介绍了 BUTTER-E 数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或 FLOP 减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

    Mar, 2024

  • 碳排放和大型神经网络训练

    通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

    Apr, 2021

  • Watt 为何物：重新思考深度学习的能耗和性能关系

    我们研究了深度学习模型在准确性和电力消耗之间的权衡，并提出一种惩罚高电力消耗的度量标准。通过评估单位电力消耗下的准确性，我们展示了更小、更能源高效的模型如何在减缓环境问题的同时显著加快研究进展。这项研究强调了深度学习优化模型效率的重要性，为更公平的竞争环境做出了贡献。

    Oct, 2023

  • 能源感知训练最小化深度学习模型的能耗

    通过使用基于梯度下降的算法，利用可微分的近似表示 $l_0$ 范数作为稀疏惩罚减少训练模型过程中的能源消耗和预测延迟，实验结果表明该方法能够在分类表现和能源效率之间达到更好的平衡。

    Jul, 2023