Mar, 2024

IoTCO2：评估物联网驱动的深度学习的端到端碳足迹

PDF
TL;DR为了提高隐私和保证服务质量，深度学习模型越来越多地部署在物联网设备上进行数据处理，从而显著增加了与物联网上深度学习相关的碳足迹，覆盖了运营和实体方面。本文引入了 extit {CARB}，一种用于物联网上深度学习精确估计碳足迹的端到端建模工具，通过多个 DL 模型的实际测量，演示了相对于实际测量值的碳足迹值最大的 ±21％偏差。此外，展示了 extit {CARB} 的多个用户案例研究的实际应用。
发现论文，激发创造
  • Carbontracker: 跟踪和预测深度学习模型的碳足迹

    本文介绍了 Carbontracker 工具，它可以跟踪和预测深度学习模型的能源和碳足迹，并提出报道模型开发和训练的能源和碳足迹，以促进机器学习的负责任计算和鼓励深层神经网络的能源效率研究。

    Jul, 2020

  • 碳排放和大型神经网络训练

    通过计算 T5，Meena，GShard，Switch Transformer 和 GPT-3 等几种大型模型的能源使用和碳足迹，我们发现大而稀疏的深度神经网络可以比大而密集的深度神经网络使用更少的能量，并且具有可接受的准确性。在由于地理位置和专用数据中心基础架构带来的差异方面，对机器学习的能源效率进行度量是具有挑战性的，但我们相信通过明确计算能源消耗和碳足迹，并与开发人员合作，将能源使用作为关键指标来评估模型，可以帮助减少机器学习的碳足迹。

    Apr, 2021

  • 如何估计深度学习模型训练的碳足迹？指南与综述

    介绍了针对机器学习模型训练期间能源消耗量的多种在线和软件工具，并对这些工具的特定词汇、技术要求进行了评估和比较，并提供了一些建议。

    Jun, 2023

  • 碳排放强度感知的 DNN 自适应推理

    我们提出了一种启发式算法，通过在低强度时期使用更大、更高精度的模型，在高强度时期使用更小、更低精度的模型，从而使 DNN 推理更加可持续，减少能源消耗和碳足迹。我们还引入了一个指标，即碳排放效率，以量化自适应模型选择在碳足迹方面的有效性。评估结果显示，所提出的方法可以将视觉识别服务的准确性在碳排放效率方面提高 80%。

    Mar, 2024

  • LLMCarbon：大型语言模型的端到端碳足迹建模

    大型语言模型的碳足迹估算对于新的神经网络的训练前有重要意义，现有研究已报告了训练过程中的碳足迹，然而现有工具在估算碳足迹时存在一些严重限制，为填补这些空白，我们引入了 LLMCarbon，一个端到端的碳足迹预测模型，可以显著提高大型语言模型的碳足迹估算的准确性。

    Sep, 2023

  • 边缘计算方法在物联网架构中与机器学习相结合的室内环境参数高效估计的比较

    通过低成本边缘物联网架构，提出了实现轻量级机器学习模型估计室内环境质量参数的两种方法，采用神经网络和分布式并行物联网架构，以减少数据处理负载和能源消耗。实验表明，在温度和照度小数据集上进行的训练和测试中，估计性能接近 0.95 的 F 分数和准确度，并且在分布式并行方法中，功耗降低了将近 37%。与相关研究的等效物联网架构相比，达到了相似或稍微更好的性能，并实现了 35% 至 76% 的误差减少，从而在性能和能源效率之间取得了恰到好处的平衡。

    Feb, 2024

  • 物联网作为深度神经网络

    本文研究了如何通过深度神经网络的测量压缩和推理，实现 IoT 数据通信的有效率，并在实验中取得了 96% 的数据传输量节省和 2.5% 推理准确度下降的成果。

    Mar, 2020

  • 动态提前退出预测编码神经网络

    借鉴人脑的高效率和低功耗，本文提出了一种基于预测编码理论和动态提前终止的浅双向网络，以加入硬件有限资源在设计过程中，实现在 CIFAR-10 图像分类上与 VGG-16 相当准确率的结果，使用更少的参数和较低的计算复杂度。

    Sep, 2023

  • 分布式深度卷积神经网络用于物联网

    本文提出了一种设计方法，旨在分配在分布式 IoT 应用程序中卷积神经网络（CNNs）的执行。该方法在满足单元级内存和处理负载的约束条件下最小化数据采集阶段和随后的决策阶段之间的延迟。该方法支持多个数据源和多个 CNN 的执行，从而可以设计基于 CNN 的应用程序，要求具有自治性、低决策延迟和高服务质量。

    Aug, 2019

  • 分布式与联邦学习的能源和碳足迹分析

    本论文提出了一种新的框架，用于分布式和联邦学习（FL）的能源和碳足迹分析，研究了完全分散方法和共识方法的能源足迹和碳排放。这个框架量化了基于连续改进的学习三个环节的能源消耗，使用了两个 5G 行业垂直的案例对其进行了分析，结果表明能源消耗和测试准确度应该通过模型和数据足迹来平衡。

    Jun, 2022