Nov, 2022

理解 HPC 规模人工智能的能源消耗

PDF
TL;DR本文介绍了一种名为 Benchmark-Tracker 的基准测试工具，该工具能够通过软件收集能源信息，从而评估人工智能和深度学习算法的速度和能耗，并在实验中展示了其潜力。
发现论文，激发创造
  • 异构人工智能工作负载精确能耗测量

    近年来人工智能的兴起和模型复杂度的增加已开始带来计算资源需求上的挑战，本文针对大规模 AI 方法的能源效率问题，通过对不同计算节点上深度学习模型进行测量，说明了在算法层面和未来计算集群和硬件设计方面，准确测量 AI 工作量的功耗需求之重要性，以及模型训练和推理的能耗差异，提供了降低成本、提高用户意识的解决方案。

    Dec, 2022

  • 低碳计算机视觉的全周期能耗基准

    本文提出了一种新的度量标准来衡量高效计算机视觉模型在不同应用场景下的全周期能耗，以提供在选择高效深度学习算法时降低碳排放的参考。

    Aug, 2021

  • 流行 AI 基准测试的能效考虑

    本文探究了人工智能资源感知和可持续性的问题，强调评估和报告能源效率取舍的重要性，研究发现不同的数据集都有自己的效率取舍，方法可以更或 weniger 地表现得高效。

    Apr, 2023

  • 揭示深度学习的能效：边缘设备上的测量、预测和评分

    本研究通过测量、预测和评分等三个方面的研究，揭示了边缘设备中深度学习的能量消耗特征，并设计了基于内核级能量数据集的边缘设备上的内核级能量预测器，最后引入了两个评分指标，旨在将复杂的边缘设备功耗和能量消耗数据转化为易于理解的形式，以推动边缘计算中的可持续发展思维。

    Oct, 2023

  • 神经网络结构训练的能效：一项实证研究

    本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

    Feb, 2023

  • 准确性不是唯一重要的度量标准：估计深度学习模型的能源消耗

    为了解决机器学习模型能耗大导致大碳足迹的问题，我们构建了能量估计流水线，通过收集高质量的能量数据和建立的预测模型，能够预测深度学习模型的能耗。

    Apr, 2023

  • 测量深度神经网络的能量消耗与效率：实证分析与设计建议

    调查了大规模神经网络训练的实际能耗，并介绍了 BUTTER-E 数据集，分析了数据集大小、网络结构和能量消耗之间的复杂关系，提出了一个能量模型，挑战了参数或 FLOP 减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

    Mar, 2024

  • 绿色人工智能：不同运行时基础设施下深度学习模型的能量消耗初步实证研究

    本研究通过监测三个知名的深度学习框架和 ONNX 的运行时基础设施，使用三种不同的深度学习模型来测试能耗和推理时间，发现深度学习的性能和能效难以预测，并且不同的框架和执行提供者在不同场景下表现各异。转换为 ONNX 通常能显著提高性能，但批量为 64 的 ONNX 转换 ResNet 模型比原始的 PyTorch 模型多消耗约 10% 的能量和时间。

    Feb, 2024

  • Watt 为何物：重新思考深度学习的能耗和性能关系

    我们研究了深度学习模型在准确性和电力消耗之间的权衡，并提出一种惩罚高电力消耗的度量标准。通过评估单位电力消耗下的准确性，我们展示了更小、更能源高效的模型如何在减缓环境问题的同时显著加快研究进展。这项研究强调了深度学习优化模型效率的重要性，为更公平的竞争环境做出了贡献。

    Oct, 2023

  • ML 训练与推断中的能耗实证研究

    本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。

    Jun, 2024