Oct, 2023

Watt 为何物：重新思考深度学习的能耗和性能关系

PDF
TL;DR我们研究了深度学习模型在准确性和电力消耗之间的权衡，并提出一种惩罚高电力消耗的度量标准。通过评估单位电力消耗下的准确性，我们展示了更小、更能源高效的模型如何在减缓环境问题的同时显著加快研究进展。这项研究强调了深度学习优化模型效率的重要性，为更公平的竞争环境做出了贡献。
deep learning modelsenergy consumptionelectricity consumptionaccuracy-efficiency trade-offssustainable approach
发现论文，激发创造
  • 准确性不是唯一重要的度量标准：估计深度学习模型的能源消耗

    为了解决机器学习模型能耗大导致大碳足迹的问题，我们构建了能量估计流水线，通过收集高质量的能量数据和建立的预测模型，能够预测深度学习模型的能耗。

    Apr, 2023

  • 低碳计算机视觉的全周期能耗基准

    本文提出了一种新的度量标准来衡量高效计算机视觉模型在不同应用场景下的全周期能耗，以提供在选择高效深度学习算法时降低碳排放的参考。

    Aug, 2021

  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • 自然语言处理中深度学习的能源和政策考虑

    本文针对近年来训练神经网络时所涉及的大量计算资源和能源消耗造成的高昂费用和环境问题进行了研究和评估，并提出了降低其成本和改善 NLP 研究和实践公平性的建议。

    Jun, 2019

  • 测量深度神经网络的能量消耗与效率：实证分析与设计建议

    调查了大规模神经网络训练的实际能耗，并介绍了 BUTTER-E 数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或 FLOP 减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

    Mar, 2024

  • DL 模型和训练环境对能耗有影响吗？

    本研究分析了选择适当的模型架构和训练环境可以显著降低计算机视觉模型的能源消耗，同时保持模型正确性，也发现对于更好的能源效率，GPU 应该与模型的计算复杂度进行比例缩放。

    Jul, 2023

  • ML 训练与推断中的能耗实证研究

    本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。

    Jun, 2024

  • 大国的责任：降低语言模型训练能耗的建议

    本文探讨了用于减少 NLP 应用程序能源消耗的技术，其中包括衡量能源使用的技巧以及可以调节以减少训练和推理的能源消耗的不同硬件和数据中心设置，例如功率限制，可使基于变压器的语言模型训练的能源使用减少 15％。

    May, 2022

  • 异构人工智能工作负载精确能耗测量

    近年来人工智能的兴起和模型复杂度的增加已开始带来计算资源需求上的挑战，本文针对大规模 AI 方法的能源效率问题，通过对不同计算节点上深度学习模型进行测量，说明了在算法层面和未来计算集群和硬件设计方面，准确测量 AI 工作量的功耗需求之重要性，以及模型训练和推理的能耗差异，提供了降低成本、提高用户意识的解决方案。

    Dec, 2022

  • 碳排放和大型神经网络训练

    通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

    Apr, 2021