Oct, 2023

联邦学习碳追踪模型：量化和稀疏化影响

PDF
TL;DR基于边缘设备的联邦学习方法通过采用高效的通信技术来分布机器学习任务，相比于集中式解决方案，减少了数据存储和计算复杂性方面的开销。该论文提出了一个用于实时监测联邦学习系统能源和碳足迹影响的框架，并通过对共识（完全分散）和经典联邦学习策略的评估，首次定量评估了不同的计算和通信高效联邦学习方法在能源消耗和碳等效排放方面的表现，并提供了能效设计的一般指导原则。研究结果表明，在通信能效较低（即 < 25 Kbit/Joule）时，应优先选择共识驱动的联邦学习实现以限制碳排放。此外，量化和稀疏化操作被证明在学习性能和能源消耗之间达到了平衡，从而导致了可持续的联邦学习设计。
federated learningedge devicesenergy consumptioncarbon emissionssustainable fl designs
发现论文，激发创造
  • 分布式与联邦学习的能源和碳足迹分析

    本论文提出了一种新的框架，用于分布式和联邦学习（FL）的能源和碳足迹分析，研究了完全分散方法和共识方法的能源足迹和碳排放。这个框架量化了基于连续改进的学习三个环节的能源消耗，使用了两个 5G 行业垂直的案例对其进行了分析，结果表明能源消耗和测试准确度应该通过模型和数据足迹来平衡。

    Jun, 2022

  • 联邦学习的碳足迹初探

    本文研究了联邦学习的碳排放问题，发现与集中式机器学习相比，联邦学习的碳排放量可能高达两个数量级，但在一些情况下，由于嵌入式设备的能耗降低，两者的碳排放量是可比较的。作者探讨了算法效率、硬件能力和行业透明度等课题，以降低联邦学习对环境的影响。

    Feb, 2021

  • FedGreen：具有模型大小自适应的碳感知联邦学习

    FedGreen 是一种碳感知的联邦学习方法，通过采用基于客户端的碳排放数据和位置的自适应模型大小训练技巧，以及使用有序的随机失活作为模型压缩技术，可以有效地训练模型，并在考虑不同国家碳强度差异的同时，降低碳排放，并保持竞争性的模型准确性。

    Apr, 2024

  • 基于无线网络的绿色量化联邦学习：一种节能设计

    本研究探讨了一种基于定点神经网络的低能耗联邦学习框架，通过使用多目标优化策略和 Nash 协商解来平衡数据的精度和能耗之间的取舍，从而实现在收敛速度和能耗上的双重收益。模拟结果表明，该方法能够将能耗降低 70%，收敛速度不受影响。

    Jul, 2022

  • 无线量化联邦学习：一种联合计算和通信设计

    本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

    Mar, 2022

  • 基于联合权重量化和无线传输的异构移动设备能效联邦学习

    本文旨在将联邦学习引入未来无线网络的设计中，为了在移动设备上进行能源高效的联邦学习提出了一种新颖的无线传输和权重量化的联合设计方法。通过建立混合整数规划问题，制定了灵活的权重量化计划，以最小化所有移动设备的联邦学习总能耗（计算 + 传输），同时保证模型性能和训练延迟。通过大量的模拟实验，验证了该方案的有效性。

    Dec, 2020

  • 面向轻量通信设计的联邦学习压缩

    本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

    Oct, 2023

  • 基于样本驱动的联邦学习用于能效高和实时物联网传感

    通过控制数据采样过程，我们可以减轻过拟合问题并提高整体准确性，从而为具有实时感知能力的联邦学习系统中的资源分配提供了有希望的解决方案。

    Oct, 2023

  • CEFL：碳高效联邦学习

    Federated Learning 通过自适应成本感知的客户端选择策略优化任意成本指标，将资源效率提高到时间 - 准确性之间的最优化问题解决掉，并通过设计碳效率的 Federated Learning 模型，以其能耗的碳排放强度为成本，在减少碳排放和训练时间方面具有显著的优势。

    Oct, 2023

  • 无线网络上高效计算与通信的联邦学习

    通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

    Sep, 2023