神经网络结构训练的能效：一项实证研究

Feb, 2023

神经网络结构训练的能效：一项实证研究

Energy Efficiency of Training Neural Network Architectures: An Empirical Study

Yinlena Xu, Silverio Martínez-Fernández, Matias Martinez, Xavier Franch

TL;DR本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

Abstract

The evaluation of deep learning models has traditionally focused on criteria such as accuracy, F1 score, and related measures. The increasing availability of high computational power environments allows the creation of deeper and more complex models. However, the computations needed to

deep learning model architecture environmental impact energy consumption co2 emissions

发现论文，激发创造

DL 模型和训练环境对能耗有影响吗？

本研究分析了选择适当的模型架构和训练环境可以显著降低计算机视觉模型的能源消耗，同时保持模型正确性，也发现对于更好的能源效率，GPU 应该与模型的计算复杂度进行比例缩放。

Jul, 2023

测量深度神经网络的能量消耗与效率：实证分析与设计建议

调查了大规模神经网络训练的实际能耗，并介绍了 BUTTER-E 数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或 FLOP 减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

Mar, 2024

碳排放和大型神经网络训练

通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

Apr, 2021

自然语言处理中深度学习的能源和政策考虑

本文针对近年来训练神经网络时所涉及的大量计算资源和能源消耗造成的高昂费用和环境问题进行了研究和评估，并提出了降低其成本和改善 NLP 研究和实践公平性的建议。

Jun, 2019

准确性不是唯一重要的度量标准：估计深度学习模型的能源消耗

为了解决机器学习模型能耗大导致大碳足迹的问题，我们构建了能量估计流水线，通过收集高质量的能量数据和建立的预测模型，能够预测深度学习模型的能耗。

Apr, 2023

Watt 为何物：重新思考深度学习的能耗和性能关系

我们研究了深度学习模型在准确性和电力消耗之间的权衡，并提出一种惩罚高电力消耗的度量标准。通过评估单位电力消耗下的准确性，我们展示了更小、更能源高效的模型如何在减缓环境问题的同时显著加快研究进展。这项研究强调了深度学习优化模型效率的重要性，为更公平的竞争环境做出了贡献。

Oct, 2023

低碳计算机视觉的全周期能耗基准

本文提出了一种新的度量标准来衡量高效计算机视觉模型在不同应用场景下的全周期能耗，以提供在选择高效深度学习算法时降低碳排放的参考。